Skip to content

概览:仓库全图

一句话

把 IsaacLab 仿真环境产生的轨迹(三种来源)加工成 GR00T 能直接消费的 LeRobot v2 数据集。覆盖 8 层 pipeline 的 L2 + L3。

全图

┌──────────────────────────────────────────────────────────────────┐
│                       L2 venv (./l2/.venv)                       │
│            IsaacSim 6.0.0 + IsaacLab + torch 2.10 cu128          │
│                                                                  │
│  ┌──────────────┐  ┌──────────────┐  ┌──────────────┐            │
│  │ l2/scripted/ │  │   l2/rl/     │  │ l2/teleop/   │            │
│  │  Warp SM     │  │ PPO + record │  │ keyboard/SM  │            │
│  └──────┬───────┘  └──────┬───────┘  └──────┬───────┘            │
│         │                 │                 │                    │
│         ▼                 ▼                 ▼                    │
│   data/demos/scripted_*.hdf5    rl_*.hdf5    teleop_*.hdf5       │
│   (IsaacLab 官方 HDF5 schema:data/demo_{i}/...)                 │
└──────────────────────────────────────────────────────────────────┘

                          │  HDF5 文件作为两个 venv 之间的边界

┌──────────────────────────────────────────────────────────────────┐
│                    L3 venv (./l3/.venv)                          │
│                lerobot==0.3.3 + CPU torch wheel                  │
│                                                                  │
│   convert.py:  HDF5  →  LeRobot dataset v2.1                     │
│                                                                  │
│   data/lerobot/<dataset>/                                        │
│      ├─ meta/{info,episodes,tasks,stats,modality}.json(l)        │
│      ├─ data/chunk-000/episode_NNNNNN.parquet                    │
│      └─ videos/chunk-000/observation.images.<cam>/*.mp4          │
└──────────────────────────────────────────────────────────────────┘


                  (仓库范围之外)
                  GR00T N1.7 LoRA finetune

控制流

阶段谁定影响下游
Task 选择L2_scripted(默认 lift_cube_franka)决定环境配置、obs/action 维度
Action 空间三个 L2 必须对齐到同一表示(IK abs)决定能否合并 dataset
是否带 camera三个 L2 各自的 --with_camera 开关决定能否做 VLA 训练
Dataset 格式版本L3 pin lerobot==0.3.3(默认且仅写 v2.1,不支持 v3);convert.py 自己直写 codebase_version="v2.1" magic + GR00T 1.7 魔改 stats.jsonGR00T 兼容性

各层文档导航

路径讲什么
docs/guide/overview.md本文件
docs/guide/pipeline.md8 层 pipeline 全景(项目源文档,不动内容)
docs/guide/environment-and-dependencies.mdL2 venv + L3 venv 怎么搭
docs/schema/hdf5-schema.mdL2 中间产物 schema
docs/schema/lerobot-v2-schema.mdL3 最终产物 schema
docs/schema/obs-action-alignment.md三来源 action 空间统一规则
docs/schema/gr00t-1-7-dataset-constraints.mdGR00T 1.7 对 dataset 的硬性约束
docs/research/research-on-three-trajectory-sources.mdscripted/RL/teleop 的差别、合并的硬约束
docs/research/lerobot-version-study.mdPyPI 版本 ↔ dataset 格式版本对应表
<l2_*>/README.md每条 L2 pipeline 的 how-to
l3/README.mdL3 转换器 how-to

不在仓库范围内

为什么不做
L0 资产层IsaacLab 已带,复用即可
L1 仿真层IsaacLab 已带
L4 模型架构GR00T 是上游基础模型,本仓库只产数据
L5 训练层GR00T 微调,下游工作
L6 评测层Isaac Lab-Arena,下游工作
L7 部署层TensorRT + Jetson,下游工作
Cosmos 视觉增强L2 的可选支线,本仓库只在 docs 里画接口