fix(audio): lower raw opus bitrate to 16 kbps

This commit is contained in:
chenjintao
2026-10-08 11:26:03 +08:00
parent 9fd01bb61b
commit 5d849033c3
6 changed files with 19 additions and 19 deletions
+4 -4
View File
@@ -544,7 +544,7 @@ if (ret != ESP_CODEC_DEV_OK) {
位深:16 bit
通道:单声道
Opus 帧长:60 ms
Opus 码率:24 kbps
Opus 码率:16 kbps
```
每个 60ms 帧包含:
@@ -679,11 +679,11 @@ Opus 编码核心为:
esp_opus_enc_process(ctx->opus_enc, &in_frame, &out_frame);
```
输入为固定的 1920 字节 PCM,输出为压缩后的 Opus 包。按照 24kbps、60ms 计算,理论平均大小约为:
输入为固定的 1920 字节 PCM,输出为压缩后的 Opus 包。按照 16kbps、60ms 计算,理论平均大小约为:
```text
24000 bit/s × 0.060s = 1440 bit
1440 / 8 = 180 字节
16000 bit/s × 0.060s = 960 bit
960 / 8 = 120 字节
```
实际包大小仍可能受到编码参数和音频内容影响。
@@ -142,7 +142,7 @@ Token、JWT、Wi-Fi 密码等敏感信息不应写入文档、日志或提交到
| `CONFIG_MULTIMODAL_AUDIO_CODEC_BITS_PER_SAMPLE` | 16 bit | PCM 位深 |
| `CONFIG_MULTIMODAL_AUDIO_CHUNK_SIZE` | 1920 B | 60 ms 单声道 PCM 数据量 |
| `CONFIG_MULTIMODAL_OPUS_FRAME_DURATION_MS` | 60 ms | 每个 Opus 帧的时长 |
| `CONFIG_MULTIMODAL_OPUS_BITRATE_KBPS` | 24 kbit/s | Opus 目标码率 |
| `CONFIG_MULTIMODAL_OPUS_BITRATE_KBPS` | 16 kbit/s | Opus 目标码率 |
| `CONFIG_MULTIMODAL_OPUS_COMPLEXITY` | 0 | Opus 编码复杂度,优先降低 MCU 负载 |
| `CONFIG_MULTIMODAL_AUDIO_IN_GAIN_DB` | 30 dB | ES8311 输入增益 |
| `CONFIG_MULTIMODAL_AUDIO_MIC_CHANNEL` | 0 | 从 codec 数据中选取的麦克风通道 |
@@ -160,12 +160,12 @@ Token、JWT、Wi-Fi 密码等敏感信息不应写入文档、日志或提交到
每帧采样点 = 16000 × 60 / 1000 = 960 samples
每帧 PCM = 960 × 16 / 8 × 1 = 1920 bytes
PCM 裸码率 = 16000 × 16 × 1 = 256 kbit/s = 32 kB/s
Opus 目标包大小约 = 24 kbit/s × 60 ms / 8 = 180 bytes/frame
Opus 目标包大小约 = 16 kbit/s × 60 ms / 8 = 120 bytes/frame
每秒 Opus 帧数约 = 1000 / 60 = 16.67 frame/s
24 格上行队列对应约 = 24 × 60 ms = 1.44 s 音频
```
180 B 是按目标码率计算的平均值,不代表每个实际 Opus 包都固定为 180 B。
120 B 是按目标码率计算的平均值,不代表每个实际 Opus 包都固定为 120 B。
### 4.4 下行音频参数
@@ -174,8 +174,8 @@ Opus 目标包大小约 = 24 kbit/s × 60 ms / 8 = 180 bytes/frame
| 下行协议格式 | `raw-opus` | 服务端通过 WebSocket 二进制帧发送 |
| 下行采样率 | 16000 Hz | Start 中与 codec 采样率保持一致 |
| 下行帧时长 | 60 ms | Start 的 `frame_size` |
| 下行码率 | 24 kbit/s | Start 的 `bit_rate` |
| `CONFIG_MULTIMODAL_DOWNSTREAM_RATE_LIMIT` | 3000 B/s | 请求服务端限制下发速率,约等于 24 kbit/s |
| 下行码率 | 16 kbit/s | Start 的 `bit_rate` |
| `CONFIG_MULTIMODAL_DOWNSTREAM_RATE_LIMIT` | 2000 B/s | 请求服务端限制下发速率,约等于 16 kbit/s |
| `CONFIG_MULTIMODAL_AUDIO_DOWNSTREAM_PLAYBACK_MAX_PACKET_BYTES` | 2048 B | 单个播放队列音频包最大尺寸 |
| `CONFIG_MULTIMODAL_AUDIO_DOWNSTREAM_PLAYBACK_QUEUE_LEN` | 1024 | 下行播放队列最大包数 |
| `CONFIG_MULTIMODAL_AUDIO_DOWNSTREAM_PLAYBACK_TASK_STACK` | 12288 B | 解码/播放任务栈 |
@@ -384,11 +384,11 @@ esp_websocket_client_config_t cfg = {
"audio_format": "raw-opus",
"sample_rate": 16000,
"frame_size": 60,
"bit_rate": 24,
"bit_rate": 16,
"speech_rate": 110,
"incremental_response": false,
"intermediate_text": "transcript,dialog",
"transmit_rate_limit": 3000,
"transmit_rate_limit": 2000,
"voice": "<optional-voice-id>"
},
"client_info": {