lerobot_learn/docs/evaluation.md

实验与评测协议

当前无实测结果。本文件为模板，每轮复制至独立实验记录后填写；不得将占位或演示数据填为真实结果。

实验身份

记录日期、操作者、任务、机器人/机构版本、校准 ID 与备份校验值、相机安装照片和参数、数据版本/校验值、LeRobot 版本、依赖锁 SHA256、GPU/驱动、模型来源 revision、checkpoint、处理器、训练步数/batch/种子/精度/冻结模块。

另记录训练步耗时、训练峰值显存、推理峰值显存与延迟 P50/P95/P99。评测不通过时先分类失败原因，再决定补数据、修机构或调模型。

P1/P2/P4 任务评测

1. 开始前写明任务成功条件、初始位置范围、物体、目标区域、最大执行时长、允许的接触、碰撞定义与停止条件。抓放成功应包括物体最终稳定留在目标区域，而非仅短暂抓起。
2. 预先列出 20 次初始条件和测试顺序。可用 5 个规定位置各 4 次；这只能说明该范围内能力。未见位置、物体、光照或语言指令泛化应另测，不能混为同一结论。
3. 固定 checkpoint；测试期间不调参、不挑选成功视频替代全量记录。每次运行前允许人工复位；运行开始后任何人工接管均算本次失败。
4. 超时、掉落或需人工救援算失败；保存失败视频与原因。更换模型/数据或调参后重新开始完整一轮，不删除失败试次。
5. 阶段门槛：20 次至少成功 16 次、碰撞 0 次；全部干预和失败完整记录。任一碰撞均使该轮不通过。该样本量只是项目门槛，不代表精确的长期可靠性估计。

试次（1–20，每次一行）	初始条件	成功/失败	耗时	干预次数	碰撞次数	失败阶段/原因	视频/日志
待填

汇总：成功 __/20，超时 __，干预 __，碰撞 __，是否通过 __。P4 同时报告移动、到位、抓取、运输、放置的分阶段结果，但整机成功必须全程通过。

P3 到位与制动

根据 P1 抓取容差和底盘试验，在验收前填入：位置误差上限 __；角度误差上限 __；停稳速度/持续时间 __；停车时间上限 __；停车距离上限 __；测试负载 __；地面 __；最大速度 __。

重复 20 次移动到位，逐次记录位置/角度误差、停稳时间及是否达标，报告误差分布。全部符合预先规定阈值才能连接操作策略。未定义阈值时只能称为探索测试，不能验收。

P4 故障注入

在受控工作区从低速、轻负载开始。使用独立停止手段，按实际负载明确手臂保持/受控停止行为；不默认回中位。

故障	测试内容	触发到停车时间/距离	手臂行为	旧动作是否失效	重连是否需重新使能	是否通过
断网	双向断开与单向通信失败	待测
推理进程退出	服务意外退出	待测
相机卡死	无新帧与反复返回旧帧	待测
乱序/过期动作	延迟包、重复包、旧 session 包	待测
队列耗尽	推理耗时超过动作缓冲	待测

所有故障均符合 P3 预定停止上限、旧动作不可再执行、恢复需显式使能后，故障验收才通过。阈值或停止行为改变后须复测。