feat: add SO101 recording and ACT workflow with progress tracking
This commit is contained in:
@@ -0,0 +1,59 @@
|
||||
# ACT:积木放入白色盒子
|
||||
|
||||
任务:`Pick up the block and place it in the white box.`
|
||||
|
||||
固定盒子和两台摄像头;起初只在小区域改变积木位置。腕部 `wrist` 使用 Integrated Webcam(30 FPS),外部 `front` 使用 CAM1(25 FPS)。数据与控制按 25 FPS 记录。脚本自动激活本机环境、加载 zihao 主从臂配置,使用固定 USB 路径,不自动上传数据或模型。
|
||||
|
||||
## 先录 5 条
|
||||
|
||||
在本机交互终端运行(先退出其他遥操作进程):
|
||||
|
||||
```bash
|
||||
bash robots/record_block_white_box.sh
|
||||
```
|
||||
|
||||
脚本先等待按 Enter,随后连接设备并自动开始。绿色中文横幅表示录制,黄色表示复位或重录;请在运行脚本的终端操作方向键。每条最多 30 秒,复位阶段默认 30 秒;复位期间仍会跟随主臂。操作键:
|
||||
|
||||
- 右方向键:结束当前阶段。录制时按表示结束本条;复位时按表示准备好进入下一阶段。
|
||||
- 左方向键:标记当前条重录;按屏幕提示完成复位后重新录制。
|
||||
- Esc:结束采集并走保存流程,当前未标记重录的片段也可能保存;检查是否混入不完整示范。
|
||||
|
||||
执行完整的靠近、抓取、抬起、放入盒子、松开、退开,再结束本条。复位时把积木取出,主从臂回到相近起始姿态。录完等待程序编码、保存完再关闭终端。
|
||||
|
||||
数据保存在 `data/block_white_box_v1`。先检查 5 条的画面清晰度、动作完整性、时间戳和帧率,再追加示范:
|
||||
|
||||
```bash
|
||||
# 追加 45 条,num_episodes 表示本次新增数量
|
||||
RESUME=true NUM_EPISODES=45 bash robots/record_block_white_box.sh
|
||||
```
|
||||
|
||||
50 条仅作为初始目标,不保证成功率。原数据存在时脚本默认拒绝覆盖。新建数据集须同时指定 `DATASET_ROOT` 和 `DATASET_ID`;训练时保持一致。
|
||||
|
||||
## ACT 训练(本机 3080)
|
||||
|
||||
数据检查通过后,先做短训练验证:
|
||||
|
||||
```bash
|
||||
STEPS=200 BATCH_SIZE=4 bash robots/train_act_block_white_box.sh
|
||||
```
|
||||
|
||||
短训练仅验证链路,不用于自主抓取。正式训练起步:
|
||||
|
||||
```bash
|
||||
bash robots/train_act_block_white_box.sh
|
||||
```
|
||||
|
||||
默认 batch_size=8、20000 步,每 2000 步保存;显存不足可改 `BATCH_SIZE=4`。每次使用独立的 `outputs/train/act_block_white_box_<时间>` 目录。首次加载视觉骨干可能需要下载权重。本次训练的实测速度、显存和输出路径见进度追踪。
|
||||
|
||||
## 真机评测
|
||||
|
||||
完成正式训练并确认检查点后,在相同相机布局与校准下执行:
|
||||
|
||||
```bash
|
||||
MODEL_DIR=/绝对路径/checkpoints/last/pretrained_model \
|
||||
bash robots/rollout_act_block_white_box.sh
|
||||
```
|
||||
|
||||
默认自主运行 30 秒、25 FPS,按 Ctrl+C 停止。这个阶段会由模型控制从臂,不需要操纵主臂。先单次观察,再按 `docs/evaluation.md` 记录多次成功率。初次试跑应留出活动空间,并能及时断电。
|
||||
|
||||
所有启动器支持 `DRY_RUN=1` 打印命令,不连接硬件;可追加 LeRobot 参数。2026-09-10 已录制并检查 5 条示范,短训练及模型重载通过,正式训练进行中。当前运行目录、服务及下一步见 [进度追踪](progress.md)。
|
||||
Reference in New Issue
Block a user