ylhan/ai-companion
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
9 Commits 1 Branch 0 Tags
main
Commit Graph
8 Commits
Author SHA1 Message Date
ylhan 98bbba93d0 Phase 4：补齐通用记忆闭环（验收 9/9 通过） 
按 P1-Pipecat Flows Agent化与记忆改造交接.md 的 Phase 4 完成。
新增 p1/phase4_acceptance.py：跑真实服务端验 7 条，每条之间查数据库。

实测结果（2026-09-16）
1. "记住我不吃香菜"        → confirmed 落库 ✅
2. **新连接** "我不吃什么？" → "你不吃香菜。" ✅ 连接开始时加载档案生效
3. "我今天吃了香菜"        → 不新增 confirmed，模型还追问了是否口味变了 ✅
4. "其实我现在吃香菜了"    → 同键仍只一条 confirmed，值已更新 ✅
5. "忘掉我的饮食偏好"      → 已删除 ✅
6/7. 访客与跨用户隔离       → 由单测覆盖（客户端不支持切身份）

实现：会话开始时加载稳定档案
- load_stable_memories()：取已确认、未过期记忆（身份未确认返回空）
- _conversation_node 改用 build_system_prompt，与 legacy 共用同一套
  人格与记忆注入格式；记忆进**同一条** system 消息，仍不用 role_message

修掉一个真实缺陷：Flows 路径误用了语音的 max_tokens
- 症状：一句"忘掉我的饮食偏好"，服务端日志
  "Failed to parse function call arguments: {"query": "饮食"（JSON 被截断），
  回复为空、记忆没删掉，且**没有任何报错**
- 根因：Flows 路径沿用了语音的 max_tokens=200（为"回复要短"而设）。
  原始 API 对照实测：max_tokens=200 时模型 finish=stop、根本不调工具；
  600 时正常产生 tool_calls 且参数 JSON 完整
- 修法：新增 AgentConfig.max_tokens（AI_AGENT_MAX_TOKENS，默认 600），
  Flows 路径用它，语音路径仍用 200

新增 client/test_client.py 能力（为验收所需）
- RTVIReplies：收服务端 RTVI 文本消息（bot-output / bot-transcription）
- 打印 BOT_REPLY 供验收脚本断言

回归：test_agent_tools 45/45、test_flows_runtime 24/24、
test_memory 30/30、test_identity 19/19

服务器已改回 AI_AGENT_RUNTIME=legacy（改默认是 Phase 7 的事）
 2026-09-16 14:54:42 +08:00
ylhan 4f621dc95b Phase 3：Flows 接管网页文字路径（默认仍 legacy） 
按 P1-Pipecat Flows Agent化与记忆改造交接.md 的 Phase 3 完成。
**语音路径保持 legacy**，文字路径可由 AI_AGENT_RUNTIME=flows 切换。
服务器实测通过工具、姓名、记忆三项验收，随后按文档要求改回 legacy。

新增 app/agent/flows_runtime.py
- FlowsBridge：LLM 文本帧 → RTVI 消息 + 分句 TTS，产出与 legacy 的
  _run_turn 一致（bot-llm-started → 逐 token bot-llm-text → stopped
  → bot-transcription / bot-output）
- UserTextRecorder：截下用户原话供策略层判定语义等级
- build_flows_parts / make_flow_manager：拆成两段，解决
  "FlowManager 要 worker、worker 要等管线" 的先后依赖
- 节点只用 task_messages，**不用 role_message**（避免两条 system 消息）
- respond_immediately=False（不自动开口）
- handler 用闭包捕获 ctx_factory，不用模块级全局（并发会话会串身份）

新增 app/agent/llm_service.py
- 固化 Phase 1 spike 的选型：复用 DeepSeekLLMService，显式覆盖模型名
  （Pipecat 默认的 deepseek-v4-flash 不存在）

配置 app/config.py
- 新增 AgentConfig + AI_AGENT_RUNTIME，**默认 legacy**

改造 services/bot_server.py
- EngineProcessor 加 owns_text：flows 模式下语音仍归它，文字帧往下传
- runtime_deps() 暴露 memory/identity/session/tts，两条路径共用同一份资源
  （避免各建一份 SQLite 连接或各加载一次 TTS）
- **_run_task 改用 PipelineRunner**：直接 task.run() 时 runner 没挂上，
  Flows 的工具执行会失败（"runner is not set; call attach() first"），
  异常被转成给 LLM 的通用错误串，默认日志看不到。这正是 Phase 1 spike
  记录的坑 2，集成时又踩了一次。

新增 app/tests/test_flows_runtime.py（22 项，不依赖网络）

新增 deploy.sh
- **不用 --delete**、一次只同步一个目录、显式排除清单。
  起因见下。

客户端 client/test_client.py 加 --text 模式（RTVI send-text）
- 信封字段实测校正两次：**是 id 不是 msg_id**，**data.content 不是 text**；
  写错会被服务端以 "Invalid RTVI transport message" 拒掉且客户端无感知
- 等待条件改为"等到非静音音频"，不能数音频块——WebRTC 空闲时也在推静音

服务器实测（2026-09-16）
- legacy 文字：11.2s 音频 / 25 个有声段
- flows 文字：9.3s 音频 / 18 个有声段，首音约 2.8s
- flows 记忆闭环：只说"记住我不吃香菜" → 工具写入 confirmed 记忆
  → 数据库确认 #4 [confirmed] preference 饮食偏好=不吃香菜
- 称呼"林"从档案恢复

已知问题（留给 Phase 4/7）
- Pipecat 报 "Both system_instruction and an initial system message in
  context are set" 警告。来源未查明（我只用了 task_messages）。
  切回本地 vLLM 时可能 400，因为该后端拒绝多条 system 消息。
- Flows 路径暂不暴露 web_search（交接文档要求分阶段，搜索仍走 legacy）
 2026-09-16 14:13:32 +08:00
ylhan 4fe2755fd6 Phase 2：抽出工具与策略层 
按 P1-Pipecat Flows Agent化与记忆改造交接.md 的 Phase 2 完成。
legacy 路径行为不变，只是改为复用新工具层。

新增 app/agent/
- memory_policy.py：记忆写入/删除的裁决层。模型只提议，策略决定。
  不依赖 LLM/网络/真实存储，可纯单元测试。
  - 身份未确认 → 一律 reject，不碰私人记忆
  - 模型传 owner_user_id/scope 等越权字段 → reject（不静默忽略）
  - 只有用户明确说"记住/以后/别忘了/我的偏好是"才写 confirmed
  - "记住我今天吃了香菜"这类一次性事件 → 降级 candidate
  - 不采信模型自称的"用户明确要求"
  - 模糊/多条删除 → needs_confirmation，不猜目标
- tools.py：工具 schema 与执行器，legacy 与 flows 共用。
  - 身份由 ToolContext 注入，**不在工具参数里**
  - 身份未确认时不暴露任何记忆工具（比暴露后拒绝更干净）
  - 写入结果如实回报：candidate 明确告知"尚未生效"，
    删除如实返回"已删除/没有找到/需要确认"，不把"请求已收到"说成"已做到"
  - 工具失败转成给模型的文本，不拖垮本轮对话
- llm_service.py：Pipecat LLMService 工厂，固化 Phase 1 spike 的选型结论
  （复用 DeepSeekLLMService；必须显式覆盖模型名为 deepseek-flash，
  因为 Pipecat 默认的 deepseek-v4-flash 不存在）

改造 app/engine.py
- _execute_tool 改为委托 app/agent/tools.execute()，删除重复实现
- 本轮用户原话挂到实例上，供策略层判定语义等级
- 移除不再使用的 SearchError 导入

新增 app/tests/test_agent_tools.py：45 项断言，**不依赖 LLM/网络/SQLite**
（用 fake store）。覆盖交接文档 §十 的清单：越权参数、未确认身份、
明确记住 vs 推断、同 key 幂等、模糊删除、精确删除、跨用户隔离。

回归：test_agent_tools 45/45、test_memory 30/30、test_identity 19/19、
test_search 12/12、test_transport 4/4、test_profile_memory 22/22，无退化。
 2026-09-16 13:25:46 +08:00
ylhan c37a968548 Phase 1 spike：Pipecat Flows 兼容性验证，7 项全通过 
按 P1-Pipecat Flows Agent化与记忆改造交接.md 的 Phase 1 要求，
只做独立 spike，不改生产入口。

新增
- p1/flows_spike.py：探索脚本，带请求体抓取与逐项诊断
- app/tests/test_flows_spike.py：断言版，复用探索脚本的检查项避免漂移

验证结果（9 个断言全过）
- DeepSeek 在 Flows 中流式输出中文（14–22 个 token 级分块）
- 工具调用参数聚合完整、无重复拼接；回灌后能出最终回答
- worker.cancel() 能立即终止 LLM 流
- role_message 生效（模型自称"桌面陪伴小助手"）
- context 里只有一条 system 消息

三条最重要的结论
1. **不要装 pipecat-ai-flows**。Pipecat 1.10 内置 Flows（pipecat.flows），
   装了会报 _warn_if_standalone_flows_installed；且独立包 1.4.0 会把
   pipecat 从 1.10.0 降到 1.4.0。requirements.txt 已加说明。
2. **必须用 PipelineRunner().run(worker)**。直接 worker.run() 时 runner
   没挂上，工具执行失败并抛 "runner is not set; call attach() first"，
   该异常被转成给 LLM 的通用错误串，handler 从不执行，默认日志看不到。
3. **await flow.initialize(node)**。它是协程但签名显示 -> None，
   漏 await 不报错，只是 role_message/task_messages/工具全部静默失效——
   极易误判成"框架不支持这些特性"。

另两条
- respond_immediately 默认 True，initialize 会立刻触发一轮回复，
  做归因测试时必须清空观察窗口，否则会归因错。
- role_message（走 system_instruction）与 task_messages 各产生一条
  system 消息，两者不要同时用；切回本地 vLLM 时会 400。

LLMService 选择：复用 Pipecat 的 DeepSeekLLMService。它自带
DeepSeekLLMAdapter 处理 reasoning_content 回传约束（我们 P0 踩过的坑），
thinking 默认 disabled，与既有结论一致。代价是失去本地 vLLM 降级
（Flows 要求 LLMService 实例，FallbackProvider 不能直接用；且当前
本机 vLLM 已停用，fallback 实际无可用目标）。

环境：NLTK punkt_tab 本地也需预装（服务器已有），spike 加了 fail-fast
检查与拷贝命令提示。
 2026-09-16 13:13:39 +08:00
ylhan 20cfaa6ef7 基线：姓名档案修复、疑问句防误写、搜索与传输测试 
这是进入 Pipecat Flows 改造前的回滚点。
提交时已核对本地与线上代码 md5 一致（engine.py 7e97bad8、
bot_server.py 1cf543ae），所以这个提交就是当前线上状态。

内容（此前一直在线上运行但未提交的改动）：
- 姓名档案：用户自报"我叫林"同步写 confirmed 姓名，重连后恢复
- 疑问句防误写："谁吗"之类的疑问句不再被覆盖成姓名
- 新增 test_profile_memory.py（姓名档案专项回归）
- 新增 test_profile_live.py（需要真实 LLM 的现场测试）
- 搜索、身份、记忆测试的相应补充

背景：下一步要按 P1-Pipecat Flows Agent化与记忆改造交接.md
渐进引入 Pipecat Flows，交接文档明确要求先保护基线、不得
reset/checkout/覆盖现有改动。此提交即该基线。
 2026-09-16 12:48:18 +08:00
ylhan 719fc13e48 修复网页对话并接入 SearXNG 搜索 2026-09-16 11:17:41 +08:00
ylhan c3d2c7f3a8 修复 Pipecat 实时链路并补齐网页测试 2026-09-16 09:50:38 +08:00
ylhan 35e107c290 助手本体：会话引擎、LLM 路由、记忆、身份、语音适配 
从 Obsidian 笔记库剥离为独立仓库。规划文档与 P0 报告留在笔记库，
代码（助手本体、TTS 服务、P0 基准脚本、ESP32 固件）在此。

架构：服务器是助手，本地是客户端
- 助手本体跑在 cadadmin-server，N5095 只做 USB 外设桥与网络桥接
- 起因：实测 N5095 无 AVX2，跑不动可用的语音模型

当前技术栈
- LLM：DeepSeek deepseek-flash（云端，必须关思考）
- TTS：Qwen3-TTS 1.7B（服务器 3090，独立 HTTP 服务）
- STT：Zipformer 中英双语 int8（CPU，中文识别率未测）

实测：端到端 16/16 通过，首音延迟 1545ms
（对比：本地 LLM + vits-zh-ll 是 179ms，但音色不满意——音质与延迟
在此硬件上此消彼长）

设计要点
- MemoryStore 接口按"可能远程"设计（全 async、可超时、可失败）
- user_id / session_id / track_id 三者分开，人脸只作候选不自动切身份
- 记忆查询强制带 owner_user_id，无按 id 单独取的口子
- 自动抽取的记忆是"候选"，默认不参与检索
- 异步写记忆绑定创建时的身份，不读"当前用户"
- 引擎与传输解耦，只用文件音频即可端到端测试

模型与音频产物不进版本管理（1.1GB），由 download_models.sh 恢复
 2026-09-15 11:05:09 +08:00