 ylhan
|
74a30b11d7
|
Pipecat 传输层实验：传输层通，帧路由未通
新增实验代码
- services/bot_server.py：Pipecat SmallWebRTC 服务端，
把 ConversationEngine 包成一个 FrameProcessor（检验 A 方案的核心假设）
- client/test_client.py：自写 aiortc 客户端——Pipecat 的客户端 SDK
覆盖浏览器/移动端/C++/ESP32，没有适配"Linux x86 盒子接 USB 阵列"这种形态
实验结果
- ✅ 传输层跑通：信令（47–280ms 往返）、ICE 连通、data channel、
双向媒体轨（客户端音轨送达服务端，服务端音轨客户端收到）
- ❌ 帧路由未通：自定义处理器的 process_frame 调用次数为 0，
连自己注入的 StartFrame 都没进去，引擎从未运行
- 现象：连接全对、音轨协商成功、助手永远不说话，日志里一条错误都没有
对架构决策的影响
A 方案（Pipecat 只做传输、逻辑归自有引擎）的核心假设不是开箱即用的。
B 方案按框架原生 service 重构，绕开了这个接缝。
根因未定位：接线错误（接缝浅，A 可行）vs 模型不兼容（接缝深，应转 B）。
顺带挖出 8 个 Pipecat 集成坑，每个都表现为"什么都没发生"，已记入 README：
客户端需发 data channel ping、offer 无媒体则不收集 ICE 候选、
run() 要 WorkerParams、TaskManager 需在事件循环内建、
后台任务异常被静默吞掉等。
其他
- bot_server.py 保留 [诊断] 前缀日志，供下一轮排查，定位后应清理
- 客户端默认地址改用 tailscale 域名（局域网已于当日重新编址，
从 192.168.0.x 变为 172.16.1.x）
- 新增依赖 aiortc（含 av 17.x，注意 18.x 与 aiortc 1.15 不兼容）
|
2026-09-15 17:54:34 +08:00 |
|