LeRobot 双臂移动操作项目

基于 LeRobot，建立人工遥操示范、采集、训练与真机执行闭环。先完成单臂抓放，再扩展桌面双臂，最后实现“移动到位 → 停稳 → 操作”的分阶段任务。

当前处于 P0：规划与环境脚本已准备，GPU、数据管线和机器人效果尚未验收。

导览

文件	内容
PLAN.md	决策、阶段范围、验收与风险
hw/bom.md	分批采购、供电和机械验证
env/machines.md	机器分工、依赖锁流程和环境记录
env/setup_lerobot.sh	Ubuntu GPU 环境安装与冒烟检查
env/requirements.in	LeRobot 0.6.1 / P1 依赖输入
docs/cli_reference.md	单臂设置、采集、训练和 rollout 示例
docs/evaluation.md	20 次评测及故障验证记录模板

robots/、configs/、server/、client/ 当前为占位。后续优先复用上游驱动与网络推理，仅实现组合硬件适配、任务调度和故障处理。

机器分工

• 3080 10GB：遥操、采集与推理，P1/P2 USB 直连。
• 3090 24GB：训练，与 3080 使用同一经过验证的依赖锁。
• RPi 5：P3 起采图和动作执行，ARM64 环境单独验证。
• ACT：固定任务基线；SmolVLA：预训练基座微调和语言条件探索。
• 数据/模型优先局域网 rsync，HF Hub 可选；代码经 git 同步。

开始（3080 Ubuntu 主机）

先安装 git、uv、NVIDIA 驱动、FFmpeg，详见机器文档。

mkdir -p ~/robot
git clone https://git.hyonglin.top/ylhan/lerobot_learn.git ~/robot/proj
bash ~/robot/proj/env/setup_lerobot.sh --resolve

第一次在目标主机解析完整依赖并生成锁；通过 P0 验证后，把锁和输入指纹同步至 3090，再执行不带 --resolve 的脚本。当前未附经过 GPU 验证的完整锁，不能声称两机已可复现。脚本不会自动拉取上游最新代码，也不会操作机器人。