Refine robot milestones and make GPU setup reproducible
This commit is contained in:
@@ -1,31 +1,39 @@
|
||||
# LeRobot 双臂移动 VLA 机器人(可自行训练)
|
||||
# LeRobot 双臂移动操作项目
|
||||
|
||||
会走(LeKiwi 底盘)+ 双手协作(2×SO-101)+ VLA(SmolVLA / π0-FAST)+ 可自行采集数据并训练。
|
||||
基于 HuggingFace **LeRobot** 框架组装;架构「**瘦边 + 厚芯**」:RPi 5 只做实时控制,**推理在 3080 主家、训练在 3090**,走局域网。
|
||||
基于 LeRobot,建立人工遥操示范、采集、训练与真机执行闭环。先完成单臂抓放,再扩展桌面双臂,最后实现“移动到位 → 停稳 → 操作”的分阶段任务。
|
||||
|
||||
当前处于 P0:规划与环境脚本已准备,GPU、数据管线和机器人效果尚未验收。
|
||||
|
||||
## 导览
|
||||
|
||||
| 文件 | 内容 |
|
||||
|---|---|
|
||||
| [PLAN.md](PLAN.md) | ⭐ 单一事实来源:决策 / 预算 / 架构 / P0–P5 阶段 / 风险 |
|
||||
| [hw/bom.md](hw/bom.md) | 采购清单(链接 / 价格 / 到货状态) |
|
||||
| [env/machines.md](env/machines.md) | 机器拓扑 + 人机协作模型 |
|
||||
| [env/setup_lerobot.sh](env/setup_lerobot.sh) | GPU 机一键装环境(3080 / 3090 都跑) |
|
||||
| [docs/cli_reference.md](docs/cli_reference.md) | SO-101 全流程 CLI 命令 |
|
||||
| `robots/` `configs/` | 机器人定义与各场景配置(P2/P3 填充) |
|
||||
| `server/` `client/` | P4:policy server(3080)+ thin client(RPi5) |
|
||||
| [PLAN.md](PLAN.md) | 决策、阶段范围、验收与风险 |
|
||||
| [hw/bom.md](hw/bom.md) | 分批采购、供电和机械验证 |
|
||||
| [env/machines.md](env/machines.md) | 机器分工、依赖锁流程和环境记录 |
|
||||
| [env/setup_lerobot.sh](env/setup_lerobot.sh) | Ubuntu GPU 环境安装与冒烟检查 |
|
||||
| [env/requirements.in](env/requirements.in) | LeRobot 0.6.1 / P1 依赖输入 |
|
||||
| [docs/cli_reference.md](docs/cli_reference.md) | 单臂设置、采集、训练和 rollout 示例 |
|
||||
| [docs/evaluation.md](docs/evaluation.md) | 20 次评测及故障验证记录模板 |
|
||||
|
||||
`robots/`、`configs/`、`server/`、`client/` 当前为占位。后续优先复用上游驱动与网络推理,仅实现组合硬件适配、任务调度和故障处理。
|
||||
|
||||
## 机器分工
|
||||
|
||||
- **3080(10GB · 本地 Ubuntu · 机器人旁)**=主家:开发 + 臂 USB + 遥操/采数 + 推理部署
|
||||
- **3090(24GB · 远程 SSH · 同局域网)**=训练专用:只跑 `lerobot-train`
|
||||
- **RPi 5(P3/P4)**=上机驱动板:实时控制 + fail-safe
|
||||
- **数据流**:采数@3080 → HF Hub(hf-mirror)→ 训练@3090 → 模型 → 推理@3080
|
||||
- **代码流**:Windows 写字台 → git 库 → 两台 GPU 机 pull
|
||||
- 3080 10GB:遥操、采集与推理,P1/P2 USB 直连。
|
||||
- 3090 24GB:训练,与 3080 使用同一经过验证的依赖锁。
|
||||
- RPi 5:P3 起采图和动作执行,ARM64 环境单独验证。
|
||||
- ACT:固定任务基线;SmolVLA:预训练基座微调和语言条件探索。
|
||||
- 数据/模型优先局域网 rsync,HF Hub 可选;代码经 git 同步。
|
||||
|
||||
## 快速开始(GPU 机上)
|
||||
## 开始(3080 Ubuntu 主机)
|
||||
|
||||
先安装 git、uv、NVIDIA 驱动、FFmpeg,详见机器文档。
|
||||
|
||||
```bash
|
||||
mkdir -p ~/robot
|
||||
git clone https://git.hyonglin.top/ylhan/lerobot_learn.git ~/robot/proj
|
||||
bash ~/robot/proj/env/setup_lerobot.sh # 自动装环境(国内镜像自适应)
|
||||
bash ~/robot/proj/env/setup_lerobot.sh --resolve
|
||||
```
|
||||
|
||||
第一次在目标主机解析完整依赖并生成锁;通过 P0 验证后,把锁和输入指纹同步至 3090,再执行不带 `--resolve` 的脚本。当前未附经过 GPU 验证的完整锁,不能声称两机已可复现。脚本不会自动拉取上游最新代码,也不会操作机器人。
|
||||
|
||||
Reference in New Issue
Block a user