主题
概览:仓库全图
一句话
把 IsaacLab 仿真环境产生的轨迹(三种来源)加工成 GR00T 能直接消费的 LeRobot v2 数据集。覆盖 8 层 pipeline 的 L2 + L3。
全图
┌──────────────────────────────────────────────────────────────────┐
│ L2 venv (./l2/.venv) │
│ IsaacSim 6.0.0 + IsaacLab + torch 2.10 cu128 │
│ │
│ ┌──────────────┐ ┌──────────────┐ ┌──────────────┐ │
│ │ l2/scripted/ │ │ l2/rl/ │ │ l2/teleop/ │ │
│ │ Warp SM │ │ PPO + record │ │ keyboard/SM │ │
│ └──────┬───────┘ └──────┬───────┘ └──────┬───────┘ │
│ │ │ │ │
│ ▼ ▼ ▼ │
│ data/demos/scripted_*.hdf5 rl_*.hdf5 teleop_*.hdf5 │
│ (IsaacLab 官方 HDF5 schema:data/demo_{i}/...) │
└──────────────────────────────────────────────────────────────────┘
│
│ HDF5 文件作为两个 venv 之间的边界
▼
┌──────────────────────────────────────────────────────────────────┐
│ L3 venv (./l3/.venv) │
│ lerobot==0.3.3 + CPU torch wheel │
│ │
│ convert.py: HDF5 → LeRobot dataset v2.1 │
│ │
│ data/lerobot/<dataset>/ │
│ ├─ meta/{info,episodes,tasks,stats,modality}.json(l) │
│ ├─ data/chunk-000/episode_NNNNNN.parquet │
│ └─ videos/chunk-000/observation.images.<cam>/*.mp4 │
└──────────────────────────────────────────────────────────────────┘
│
▼
(仓库范围之外)
GR00T N1.7 LoRA finetune控制流
| 阶段 | 谁定 | 影响下游 |
|---|---|---|
| Task 选择 | L2_scripted(默认 lift_cube_franka) | 决定环境配置、obs/action 维度 |
| Action 空间 | 三个 L2 必须对齐到同一表示(IK abs) | 决定能否合并 dataset |
| 是否带 camera | 三个 L2 各自的 --with_camera 开关 | 决定能否做 VLA 训练 |
| Dataset 格式版本 | L3 pin lerobot==0.3.3(默认且仅写 v2.1,不支持 v3);convert.py 自己直写 codebase_version="v2.1" magic + GR00T 1.7 魔改 stats.json | GR00T 兼容性 |
各层文档导航
| 路径 | 讲什么 |
|---|---|
docs/guide/overview.md | 本文件 |
docs/guide/pipeline.md | 8 层 pipeline 全景(项目源文档,不动内容) |
docs/guide/environment-and-dependencies.md | L2 venv + L3 venv 怎么搭 |
docs/schema/hdf5-schema.md | L2 中间产物 schema |
docs/schema/lerobot-v2-schema.md | L3 最终产物 schema |
docs/schema/obs-action-alignment.md | 三来源 action 空间统一规则 |
docs/schema/gr00t-1-7-dataset-constraints.md | GR00T 1.7 对 dataset 的硬性约束 |
docs/research/research-on-three-trajectory-sources.md | scripted/RL/teleop 的差别、合并的硬约束 |
docs/research/lerobot-version-study.md | PyPI 版本 ↔ dataset 格式版本对应表 |
<l2_*>/README.md | 每条 L2 pipeline 的 how-to |
l3/README.md | L3 转换器 how-to |
不在仓库范围内
| 层 | 为什么不做 |
|---|---|
| L0 资产层 | IsaacLab 已带,复用即可 |
| L1 仿真层 | IsaacLab 已带 |
| L4 模型架构 | GR00T 是上游基础模型,本仓库只产数据 |
| L5 训练层 | GR00T 微调,下游工作 |
| L6 评测层 | Isaac Lab-Arena,下游工作 |
| L7 部署层 | TensorRT + Jetson,下游工作 |
| Cosmos 视觉增强 | L2 的可选支线,本仓库只在 docs 里画接口 |