60 lines
3.1 KiB
Markdown
60 lines
3.1 KiB
Markdown
# ACT：积木放入白色盒子
|
||
|
||
任务：`Pick up the block and place it in the white box.`
|
||
|
||
固定盒子和两台摄像头；起初只在小区域改变积木位置。腕部 `wrist` 使用 Integrated Webcam（30 FPS），外部 `front` 使用 CAM1（25 FPS）。数据与控制按 25 FPS 记录。脚本自动激活本机环境、加载 zihao 主从臂配置，使用固定 USB 路径，不自动上传数据或模型。
|
||
|
||
## 先录 5 条
|
||
|
||
在本机交互终端运行（先退出其他遥操作进程）：
|
||
|
||
```bash
|
||
bash robots/record_block_white_box.sh
|
||
```
|
||
|
||
脚本先等待按 Enter，随后连接设备并自动开始。绿色中文横幅表示录制，黄色表示复位或重录；请在运行脚本的终端操作方向键。每条最多 30 秒，复位阶段默认 30 秒；复位期间仍会跟随主臂。操作键：
|
||
|
||
- 右方向键：结束当前阶段。录制时按表示结束本条；复位时按表示准备好进入下一阶段。
|
||
- 左方向键：标记当前条重录；按屏幕提示完成复位后重新录制。
|
||
- Esc：结束采集并走保存流程，当前未标记重录的片段也可能保存；检查是否混入不完整示范。
|
||
|
||
执行完整的靠近、抓取、抬起、放入盒子、松开、退开，再结束本条。复位时把积木取出，主从臂回到相近起始姿态。录完等待程序编码、保存完再关闭终端。
|
||
|
||
数据保存在 `data/block_white_box_v1`。先检查 5 条的画面清晰度、动作完整性、时间戳和帧率，再追加示范：
|
||
|
||
```bash
|
||
# 追加 45 条，num_episodes 表示本次新增数量
|
||
RESUME=true NUM_EPISODES=45 bash robots/record_block_white_box.sh
|
||
```
|
||
|
||
50 条仅作为初始目标，不保证成功率。原数据存在时脚本默认拒绝覆盖。新建数据集须同时指定 `DATASET_ROOT` 和 `DATASET_ID`；训练时保持一致。
|
||
|
||
## ACT 训练（本机 3080）
|
||
|
||
数据检查通过后，先做短训练验证：
|
||
|
||
```bash
|
||
STEPS=200 BATCH_SIZE=4 bash robots/train_act_block_white_box.sh
|
||
```
|
||
|
||
短训练仅验证链路，不用于自主抓取。正式训练起步：
|
||
|
||
```bash
|
||
bash robots/train_act_block_white_box.sh
|
||
```
|
||
|
||
默认 batch_size=8、20000 步，每 2000 步保存；显存不足可改 `BATCH_SIZE=4`。每次使用独立的 `outputs/train/act_block_white_box_<时间>` 目录。首次加载视觉骨干可能需要下载权重。本次训练的实测速度、显存和输出路径见进度追踪。
|
||
|
||
## 真机评测
|
||
|
||
完成正式训练并确认检查点后，在相同相机布局与校准下执行：
|
||
|
||
```bash
|
||
MODEL_DIR=/绝对路径/checkpoints/last/pretrained_model \
|
||
bash robots/rollout_act_block_white_box.sh
|
||
```
|
||
|
||
默认自主运行 30 秒、25 FPS，按 Ctrl+C 停止。这个阶段会由模型控制从臂，不需要操纵主臂。先单次观察，再按 `docs/evaluation.md` 记录多次成功率。初次试跑应留出活动空间，并能及时断电。
|
||
|
||
所有启动器支持 `DRY_RUN=1` 打印命令，不连接硬件；可追加 LeRobot 参数。2026-09-10 已录制并检查 5 条示范，短训练及模型重载通过，正式训练进行中。当前运行目录、服务及下一步见 [进度追踪](progress.md)。
|