40 lines
2.2 KiB
Markdown
40 lines
2.2 KiB
Markdown
# LeRobot 双臂移动操作项目
|
|
|
|
基于 LeRobot，建立人工遥操示范、采集、训练与真机执行闭环。先完成单臂抓放，再扩展桌面双臂，最后实现“移动到位 → 停稳 → 操作”的分阶段任务。
|
|
|
|
当前处于 P0：3080 基础环境、视频读写、合成数据 ACT 短训练及模型重载已通过；3090 与真机尚未验收。详见 [本机验收记录](docs/p0-3080-20260908.md) 和 [到货前复验步骤](docs/before_hardware.md)。
|
|
|
|
## 导览
|
|
|
|
| 文件 | 内容 |
|
|
|---|---|
|
|
| [PLAN.md](PLAN.md) | 决策、阶段范围、验收与风险 |
|
|
| [hw/bom.md](hw/bom.md) | 分批采购、供电和机械验证 |
|
|
| [env/machines.md](env/machines.md) | 机器分工、依赖锁流程和环境记录 |
|
|
| [env/setup_lerobot.sh](env/setup_lerobot.sh) | Ubuntu GPU 环境安装与冒烟检查 |
|
|
| [env/requirements.in](env/requirements.in) | LeRobot 0.6.1 / P1 依赖输入 |
|
|
| [docs/cli_reference.md](docs/cli_reference.md) | 单臂设置、采集、训练和 rollout 示例 |
|
|
| [docs/evaluation.md](docs/evaluation.md) | 20 次评测及故障验证记录模板 |
|
|
|
|
`robots/`、`configs/`、`server/`、`client/` 当前为占位。后续优先复用上游驱动与网络推理，仅实现组合硬件适配、任务调度和故障处理。
|
|
|
|
## 机器分工
|
|
|
|
- 3080 10GB：遥操、采集与推理，P1/P2 USB 直连。
|
|
- 3090 24GB：训练，与 3080 使用同一经过验证的依赖锁。
|
|
- RPi 5：P3 起采图和动作执行，ARM64 环境单独验证。
|
|
- ACT：固定任务基线；SmolVLA：预训练基座微调和语言条件探索。
|
|
- 数据/模型优先局域网 rsync，HF Hub 可选；代码经 git 同步。
|
|
|
|
## 开始（3080 Ubuntu 主机）
|
|
|
|
先安装 git、uv、NVIDIA 驱动、FFmpeg，详见机器文档。
|
|
|
|
```bash
|
|
mkdir -p ~/robot
|
|
git clone https://git.hyonglin.top/ylhan/lerobot_learn.git ~/robot/proj
|
|
bash ~/robot/proj/env/setup_lerobot.sh
|
|
```
|
|
|
|
仓库已附本机验证的依赖锁及输入指纹，默认按锁安装；不要再次使用 `--resolve` 覆盖锁。3090 仍需同锁独立验收。已有本仓库时无需重复 clone，可直接在项目目录运行 `bash env/setup_lerobot.sh`。脚本不会自动拉取上游最新代码，也不会操作机器人。
|