3.1 KiB
ACT：积木放入白色盒子
任务：Pick up the block and place it in the white box.
固定盒子和两台摄像头；起初只在小区域改变积木位置。腕部 wrist 使用 Integrated Webcam（30 FPS），外部 front 使用 CAM1（25 FPS）。数据与控制按 25 FPS 记录。脚本自动激活本机环境、加载 zihao 主从臂配置，使用固定 USB 路径，不自动上传数据或模型。
先录 5 条
在本机交互终端运行（先退出其他遥操作进程）：
bash robots/record_block_white_box.sh
脚本先等待按 Enter，随后连接设备并自动开始。绿色中文横幅表示录制，黄色表示复位或重录；请在运行脚本的终端操作方向键。每条最多 30 秒，复位阶段默认 30 秒；复位期间仍会跟随主臂。操作键：
- 右方向键：结束当前阶段。录制时按表示结束本条；复位时按表示准备好进入下一阶段。
- 左方向键：标记当前条重录；按屏幕提示完成复位后重新录制。
- Esc：结束采集并走保存流程，当前未标记重录的片段也可能保存；检查是否混入不完整示范。
执行完整的靠近、抓取、抬起、放入盒子、松开、退开，再结束本条。复位时把积木取出，主从臂回到相近起始姿态。录完等待程序编码、保存完再关闭终端。
数据保存在 data/block_white_box_v1。先检查 5 条的画面清晰度、动作完整性、时间戳和帧率，再追加示范：
# 追加 45 条，num_episodes 表示本次新增数量
RESUME=true NUM_EPISODES=45 bash robots/record_block_white_box.sh
50 条仅作为初始目标，不保证成功率。原数据存在时脚本默认拒绝覆盖。新建数据集须同时指定 DATASET_ROOT 和 DATASET_ID；训练时保持一致。
ACT 训练（本机 3080）
数据检查通过后，先做短训练验证：
STEPS=200 BATCH_SIZE=4 bash robots/train_act_block_white_box.sh
短训练仅验证链路，不用于自主抓取。正式训练起步：
bash robots/train_act_block_white_box.sh
默认 batch_size=8、20000 步，每 2000 步保存；显存不足可改 BATCH_SIZE=4。每次使用独立的 outputs/train/act_block_white_box_<时间> 目录。首次加载视觉骨干可能需要下载权重。本次训练的实测速度、显存和输出路径见进度追踪。
真机评测
完成正式训练并确认检查点后，在相同相机布局与校准下执行：
MODEL_DIR=/绝对路径/checkpoints/last/pretrained_model \
bash robots/rollout_act_block_white_box.sh
默认自主运行 30 秒、25 FPS，按 Ctrl+C 停止。这个阶段会由模型控制从臂，不需要操纵主臂。先单次观察，再按 docs/evaluation.md 记录多次成功率。初次试跑应留出活动空间，并能及时断电。
所有启动器支持 DRY_RUN=1 打印命令，不连接硬件；可追加 LeRobot 参数。2026-09-10 已录制并检查 5 条示范，短训练及模型重载通过，正式训练进行中。当前运行目录、服务及下一步见 进度追踪。