 ylhan
|
2b6093d392
|
方案 v2.4 修订：按评审意见修正 8 处
评审指出的问题，逐条修正：
1. AEC 结论过早
原文写"WebRTC 自带 AEC，因此解决 P2"，这是把"框架有实现"当成了
"链路配置正确"。补充了三个前提：麦克风采集与播放参考要正确送入、
XVF3800 自身 AEC 路由需实测（两处 AEC 串联可能互相干扰）、
打断判定依赖 AEC 输出质量。P2 该行改标"待验证"。
2. 音频路径旧描述
第 157 行仍写"N5095 的 TTS"，已改为完整链路：
服务器 Qwen3-TTS → WebRTC → N5095 USB 播放端点 → XVF3800 AUX → 音箱。
并补一条：AEC 所需播放参考必须在 N5095 本地可得，不能依赖服务器回放时钟
（两侧时钟不同步会导致参考信号对不齐）。
3. "N5095 不跑任何推理"不准确
方案自己安排 N5095 跑 VAD、唤醒、人脸检测，这些也是推理。
改为"不运行 STT/TTS/LLM 等重型推理"。
4. 架构变更理由说过重
原文称"N5095 跑不动可用的语音模型"，但 P0 数据证明它能跑
Zipformer STT（RTF 0.22）和 Piper TTS（RTF 0.36）。
改为"N5095 能完成低配本地语音，但达不到当前的目标音质与延迟"——
音质达标的 Qwen3-TTS 在它上面 RTF 1.86，在服务器上 0.09。
5. 客户端/服务器音频边界未定义（新增一节）
传什么（持续音频 vs 带预卷的语音段）、唤醒在哪端、打断谁判定、
断线抖动如何恢复——四个问题列了选项与权衡，给出当前倾向，
并标注必须在做 WebRTC 客户端之前定稿，否则接口要返工。
6. STT 是最大功能风险
在 §5 表格和 §10 各标出：中文真人识别率至今无可信数据，
音频硬件到手后应优先录制本人语音算 CER，并与 SenseVoice /
faster-whisper large-v3 对比。
7. 首音延迟需按真实链路重测
当前 1545ms 是非流式、无 VAD、无传输、无播放缓冲的数据。
补入必须计入分句等待、WebRTC 抖动、播放缓冲，并测 P50/P95。
8. 尾部旧状态与重复段
§10 重写：原文还写"继续确认 Ubuntu 版本""未做实机测试"，
与 v2.4 实际进度冲突。改为已完成/下一步/风险/待办四段。
删除 §5 中完全重复的 P0 测试说明段。
同时采纳评审给出的下一步顺序：先闭环实时语音链路
（WebRTC 客户端 → 真实音频 → AEC/打断/STT 正确率），
再推 ESP32 表情，最后摄像头/多人/电机。
|
2026-09-15 12:49:42 +08:00 |
|
|
ylhan
|
bdd6bfb63d
|
AI桌面陪伴助手：方案更新至 v2.4，代码剥离到独立仓库
代码剥离
- 助手本体、TTS 服务、P0 基准脚本、ESP32 固件移到 ~/workspace/ai-companion
（独立 git 仓库），本目录只留方案、P0 报告与硬件记录
- 因此删除 esp32_smile_test.ino / esp32_touch_eyes.ino
- 同时移除已失效的 .gitignore（原本只为挡住模型体积，代码已搬走）
方案 v2.4 重大变更：架构从"单机"改为"服务器即助手、本地为客户端"
- 起因：实测 N5095 无 AVX2，跑不动可用的语音模型
- N5095 降为客户端/外设桥，只做 USB 接入、DoA、WebRTC 客户端
- 实施阶段表加进度列（P0/P1/P3/P4a 部分完成），新增三条验收要求
- 采购清单按实际到货更新，标出屏幕形态待确认（2.8寸 vs 原定1.28寸圆屏）
技术栈（实测更新）
- LLM：DeepSeek deepseek-flash（云端，必须关思考）；本机 27B 已停用
- TTS：Qwen3-TTS 1.7B（服务器 3090）；vits-zh-ll 因音色不满意被替换
- STT：Zipformer int8 未变，中文识别率仍是未闭合项
新增两份 P0 报告
- P0-Qwen3TTS报告.md：TTS 换型过程与实测
- P0-DeepSeek验证报告.md：四条路径验证
两份旧报告加了状态说明（结论仍有效但选型已变），
并修正了随代码移走而失效的引用与复现命令。
|
2026-09-15 11:08:56 +08:00 |
|
|
ylhan
|
152b919b25
|
添加子目录
|
2026-09-14 17:02:12 +08:00 |
|
|
ylhan
|
525e9f20d9
|
feat: 添加ESP32触摸眼睛动画及接线文档
|
2026-09-14 16:51:31 +08:00 |
|
|
ylhan
|
62d5acaecd
|
docs: 完善AI桌面陪伴助手实施规划与采购方案
|
2026-09-12 18:21:41 +08:00 |
|
|
ylhan
|
14090b625a
|
docs: 新增 AI 桌面陪伴助手方案（N5095+ESP32 架构定稿）
|
2026-09-12 16:12:07 +08:00 |
|
|
ylhan
|
e103738081
|
更新: 新增杂项笔记, 修正sshwifty密钥, 同步AI_compiler子模块
|
2026-08-26 22:42:33 +08:00 |
|
|
ylhan
|
8a4210f380
|
将 note 笔记库同步到 note_sync，AI_compiler 作为 submodule
|
2026-08-20 17:42:14 +08:00 |
|