fix(audio): lower raw opus bitrate to 16 kbps
This commit is contained in:
@@ -544,7 +544,7 @@ if (ret != ESP_CODEC_DEV_OK) {
|
||||
位深:16 bit
|
||||
通道:单声道
|
||||
Opus 帧长:60 ms
|
||||
Opus 码率:24 kbps
|
||||
Opus 码率:16 kbps
|
||||
```
|
||||
|
||||
每个 60ms 帧包含:
|
||||
@@ -679,11 +679,11 @@ Opus 编码核心为:
|
||||
esp_opus_enc_process(ctx->opus_enc, &in_frame, &out_frame);
|
||||
```
|
||||
|
||||
输入为固定的 1920 字节 PCM,输出为压缩后的 Opus 包。按照 24kbps、60ms 计算,理论平均大小约为:
|
||||
输入为固定的 1920 字节 PCM,输出为压缩后的 Opus 包。按照 16kbps、60ms 计算,理论平均大小约为:
|
||||
|
||||
```text
|
||||
24000 bit/s × 0.060s = 1440 bit
|
||||
1440 / 8 = 180 字节
|
||||
16000 bit/s × 0.060s = 960 bit
|
||||
960 / 8 = 120 字节
|
||||
```
|
||||
|
||||
实际包大小仍可能受到编码参数和音频内容影响。
|
||||
|
||||
@@ -142,7 +142,7 @@ Token、JWT、Wi-Fi 密码等敏感信息不应写入文档、日志或提交到
|
||||
| `CONFIG_MULTIMODAL_AUDIO_CODEC_BITS_PER_SAMPLE` | 16 bit | PCM 位深 |
|
||||
| `CONFIG_MULTIMODAL_AUDIO_CHUNK_SIZE` | 1920 B | 60 ms 单声道 PCM 数据量 |
|
||||
| `CONFIG_MULTIMODAL_OPUS_FRAME_DURATION_MS` | 60 ms | 每个 Opus 帧的时长 |
|
||||
| `CONFIG_MULTIMODAL_OPUS_BITRATE_KBPS` | 24 kbit/s | Opus 目标码率 |
|
||||
| `CONFIG_MULTIMODAL_OPUS_BITRATE_KBPS` | 16 kbit/s | Opus 目标码率 |
|
||||
| `CONFIG_MULTIMODAL_OPUS_COMPLEXITY` | 0 | Opus 编码复杂度,优先降低 MCU 负载 |
|
||||
| `CONFIG_MULTIMODAL_AUDIO_IN_GAIN_DB` | 30 dB | ES8311 输入增益 |
|
||||
| `CONFIG_MULTIMODAL_AUDIO_MIC_CHANNEL` | 0 | 从 codec 数据中选取的麦克风通道 |
|
||||
@@ -160,12 +160,12 @@ Token、JWT、Wi-Fi 密码等敏感信息不应写入文档、日志或提交到
|
||||
每帧采样点 = 16000 × 60 / 1000 = 960 samples
|
||||
每帧 PCM = 960 × 16 / 8 × 1 = 1920 bytes
|
||||
PCM 裸码率 = 16000 × 16 × 1 = 256 kbit/s = 32 kB/s
|
||||
Opus 目标包大小约 = 24 kbit/s × 60 ms / 8 = 180 bytes/frame
|
||||
Opus 目标包大小约 = 16 kbit/s × 60 ms / 8 = 120 bytes/frame
|
||||
每秒 Opus 帧数约 = 1000 / 60 = 16.67 frame/s
|
||||
24 格上行队列对应约 = 24 × 60 ms = 1.44 s 音频
|
||||
```
|
||||
|
||||
180 B 是按目标码率计算的平均值,不代表每个实际 Opus 包都固定为 180 B。
|
||||
120 B 是按目标码率计算的平均值,不代表每个实际 Opus 包都固定为 120 B。
|
||||
|
||||
### 4.4 下行音频参数
|
||||
|
||||
@@ -174,8 +174,8 @@ Opus 目标包大小约 = 24 kbit/s × 60 ms / 8 = 180 bytes/frame
|
||||
| 下行协议格式 | `raw-opus` | 服务端通过 WebSocket 二进制帧发送 |
|
||||
| 下行采样率 | 16000 Hz | Start 中与 codec 采样率保持一致 |
|
||||
| 下行帧时长 | 60 ms | Start 的 `frame_size` |
|
||||
| 下行码率 | 24 kbit/s | Start 的 `bit_rate` |
|
||||
| `CONFIG_MULTIMODAL_DOWNSTREAM_RATE_LIMIT` | 3000 B/s | 请求服务端限制下发速率,约等于 24 kbit/s |
|
||||
| 下行码率 | 16 kbit/s | Start 的 `bit_rate` |
|
||||
| `CONFIG_MULTIMODAL_DOWNSTREAM_RATE_LIMIT` | 2000 B/s | 请求服务端限制下发速率,约等于 16 kbit/s |
|
||||
| `CONFIG_MULTIMODAL_AUDIO_DOWNSTREAM_PLAYBACK_MAX_PACKET_BYTES` | 2048 B | 单个播放队列音频包最大尺寸 |
|
||||
| `CONFIG_MULTIMODAL_AUDIO_DOWNSTREAM_PLAYBACK_QUEUE_LEN` | 1024 | 下行播放队列最大包数 |
|
||||
| `CONFIG_MULTIMODAL_AUDIO_DOWNSTREAM_PLAYBACK_TASK_STACK` | 12288 B | 解码/播放任务栈 |
|
||||
@@ -384,11 +384,11 @@ esp_websocket_client_config_t cfg = {
|
||||
"audio_format": "raw-opus",
|
||||
"sample_rate": 16000,
|
||||
"frame_size": 60,
|
||||
"bit_rate": 24,
|
||||
"bit_rate": 16,
|
||||
"speech_rate": 110,
|
||||
"incremental_response": false,
|
||||
"intermediate_text": "transcript,dialog",
|
||||
"transmit_rate_limit": 3000,
|
||||
"transmit_rate_limit": 2000,
|
||||
"voice": "<optional-voice-id>"
|
||||
},
|
||||
"client_info": {
|
||||
|
||||
Reference in New Issue
Block a user