fix(voice): preserve pending message intent across reconnects

This commit is contained in:
stu2not
2026-10-30 16:46:55 +08:00
parent 9ebb1a78ec
commit 475a2447d1
4 changed files with 290 additions and 33 deletions
+33 -5
View File
@@ -1,14 +1,22 @@
# 留言状态与后续 AI 对话恢复
留言目标只属于一次录音和一个 WebSocket 连接。目标设置后默认空闲有效期为
120 秒,可用 `VOICE_TARGET_TIMEOUT_SECONDS` 调整;录音开始及有效留言音频会刷新
空闲期限。每次访问均检查过期状态,后台会定期回收过期目标及缓存。
留言分为待录音意图和已关联录音两个阶段。刷卡或短按先创建待录音意图,不绑定
连接表中的旧 WebSocket;录音开始包再将意图关联到唯一的连接和 session。
新连接接入、尚未录音便断开以及旧连接延迟退出,均不清除待录音意图;
已关联录音的目标仍在其连接断开或被替换时清理。
开始包统一返回一次 `START_ACK`。存在留言目标时,根据首个音频包选择流程:
目标设置后默认空闲有效期为 120 秒,可用 `VOICE_TARGET_TIMEOUT_SECONDS` 调整;
录音开始及有效留言音频会刷新空闲期限,单纯连接或重连不会延长有效期。
每次访问均检查过期状态,后台会定期回收过期目标及缓存。
开始包统一返回一次 `START_ACK`,先登记会话,再根据首个音频包选择流程:
类型 `0` 清除待处理留言目标并完成 AI 初始化,原始首包随后正常送入 ASR;
类型 `4` 写入本次留言的独立缓存。录音开始传输音频后不允许切换类型。
没有有效目标的留言音频不会启动 AI,结束时返回 `END_ACK` 和既有留言保存失败
提示音;旧录音延迟结束时不向正在进行的新会话插入该失败提示。
没有音频的普通 START/END 会话仍走原有静音识别响应。
结束、取消、异常、空音频、超时和连接断开均会释放对应目标及音频缓存。
已关联录音的目标及音频缓存,在结束、取消、异常、空音频、超时或连接断开时释放。
结束时先消费本次目标,再处理上传和通知,避免旧处理完成时清除新设置的目标。
旧连接断开只清理该连接的会话和任务,不影响替换它的新连接。
音频缓存键按发送设备及本次目标独立生成,多个发送方对同一接收方留言时互不覆盖。
@@ -34,3 +42,23 @@ AI 中断后留言验证了启动、收音及取消,尚未串联验证这两
状态测试:`.venv/bin/python -m pytest tests/test_voice_target_lifecycle.py -q`
完整结果:[本地测试汇总](../output/voice-target-recovery-20261028/summary.json)。
## 待录音目标重连修复(2026-10-30)
设备先刷卡、后建立录音 WebSocket 时,旧实现将新意图绑定到旧连接,随后以
`connection_changed` 清除有效意图。本次取消创建意图和连接接入时的提前绑定,
保留已关联录音的连接与 session 隔离,并将 AI 初始化推迟到首个普通音频包
(纯静音会话则在结束包)以避免无目标留言误走 AI。
- 新增用例先在旧代码复现:8 种刷卡后换连接/旧连接退出组合失败,
另有 1 项无目标留言误走 AI 的测试失败。
- 修改后留言状态测试 49/49,完整后端回归 264/264。
- 覆盖家长及设备留言、旧连接在新连接前/后及录音开始后退出、重连不刷新
待录音有效期、旧包隔离、静音、无目标留言失败以及取消/断线/超时后的再次留言。
- 两项本地集成用例串联实际 MQTT 005/011 业务处理函数、`/ws` 路由和
留言处理函数,核对完整音频、成功提示、家长会话保存或设备归档/待投递接口参数
及缓存清理;鉴权、MQTT 发布、存储、数据库写入及通知均使用隔离替身。
- 本轮未连接真实 MQTT Broker、未调用真实 ASR/LLM/TTS、未验证物理设备,
未访问或部署生产服务。
测试证据:`output/voice-target-reconnect-20261030/pytest.xml`。