自然语音正在成为家庭机器人的核心入口

传统“唤醒词 + 命令词”只能覆盖少量固定任务，而家庭陪伴、老人看护、儿童教育需要更自然、更连续、更个性化的对话体验。

• 低延迟：用户开口到 AI 开始回复需要接近实时。
• 可打断：用户在 AI 说话时可以插话，系统必须立即响应。
• 无回声：音箱输出不能被麦克风重新录入造成自激循环。
• 个性化：儿童、老人、成年人需要不同语气、话题和背景知识。

端到端可落地的家庭机器人语音系统

1. 双平台一致：桌面开发端与 Pi5 部署端保持一致体验。
2. 接入实时大模型：使用端到端 Audio-to-Audio 多模态语音能力。
3. 图形化前端：唤醒、音量、挂断、状态指示直观可见。
4. 可打断 + 抗回声：接近商用品质的自然对话体验。
5. 人设与背景注入：通过 system prompt 实现角色个性化。
6. 小车集成：扩展为语音驱动的家庭机器人。

桌面开发端 + Raspberry Pi 5 部署端

嵌入式音频挑战

• Pi5 USB 总线供电、设备枚举与音频丢帧需要工程化排查。
• 扬声器输出与麦克风输入距离近，容易产生回声循环。
• 桌面端稳定可用的音频参数，迁移到 Pi5 后仍需重新校准。
• 长时运行需要自动恢复、开机自启和状态可观测。

用状态门控切断回声路径

在边缘设备上，纯软件 AEC 难以彻底消除扬声器到麦克风的回声。本项目采用双状态静音门控，从上行通道切断回声来源。

效果

• 回声完全清除：长时对话测试中实现零回声循环。
• 机制简单稳定：不依赖复杂自适应滤波即可获得稳定效果。
• 适合机器人：家庭机器人扬声器和麦克风近距离布置时尤其有效。
• 可与硬件 AEC 叠加：硬件 AEC 负责前级降噪，状态门控负责链路保障。

静默时不上传，无效声音不过网

Pi5 端采用能量阈值 + VAD 的双重门控，在静默时段完全不上传音频，减少网络流量、模型 token 消耗和误触发。

麦克风音频帧
  │
  ├─ 能量低于阈值 → 本地过滤
  │
  └─ 能量超过阈值
        │
        ├─ VAD 判断非语音 → 丢弃
        │
        └─ VAD 判断为语音 → 上传实时语音模型

用户随时插话，AI 立即停止

本地 Barge-in 使用音量阈值 + 连续帧计数判断真实用户插话，避免功放余音误触发。后端采用三态状态机保证对话链路可观测、可恢复。

• 用户唤醒后建立连接，进入 LISTENING。
• 模型回复播放时进入 PLAYING，上行静音门控生效。
• 检测到真实插话时立即停止当前播放，切回新一轮输入。
• 长时无语音自动断连回到离线态。

为什么 Barge-in 重要

家庭机器人不是电话客服。用户经常会在 AI 没说完时纠正、补充、打断，系统如果无法实时停止，会显得“听不懂人话”。

PiCarVoice 把打断逻辑放在本地，避免完全依赖云端 VAD，从而减少等待和误判。

人设与用户背景一次注入

系统在建连时传入人设段 + 用户背景段拼接后的完整 system prompt，实现零架构改动、零额外延迟的人格和上下文定制。

演进路线

从“会聊天”到“能行动”

PiCarVoice 可作为 PiCarHome 等家庭机器人的自然语言入口，把语音意图转换为导航、状态查询、传感器播报和家庭提醒。

语音系统不直接耦合底盘细节，而是通过上层任务接口与机器人系统通信，便于后续替换模型和底盘。

儿童陪伴、老人看护与教学演示

• 儿童 AI 陪伴机器人：陪学英语、讲故事、解释机械电子知识。
• 独居老人家庭护理助手：注入家庭信息、健康档案与用药计划，主动提醒与应急响应。
• 家庭服务小车：结合底盘，实现室内语音导航与环境感知问答。
• 教育科研演示平台：用于 AI、机器人、物联网课程的参考实现。