Skip to content

概览:仓库全图

一句话

把 IsaacLab 仿真环境产生的轨迹(三种来源)加工成 GR00T 能直接消费的 LeRobot v2 数据集。覆盖 8 层 pipeline 的 L2 + L3。

全图

┌────────────────────────────────────────────────────────────────────────────────┐
│               IsaacSim 6.0.0 + IsaacLab + torch 2.10 cu128                     │
│                                                                                │
│  ┌──────────────────────┐  ┌──────────────────────┐  ┌──────────────────────┐  │
│  │    sources/scripted/ │  │      sources/rl/     │  │    sources/teleop/   │  │
│  │       Warp SM        │  │     PPO + record     │  │     keyboard/SM      │  │
│  └──────┬───────────────┘  └──────┬───────────────┘  └──────┬───────────────┘  │
│         │                         │                         │                  │
│         ▼                         ▼                         ▼                  │
│ data/{task}/{source}/{run_id}/*.hdf5 (每个 source 下每次运行一个 run 子目录) │
│                                                                                │
│                                   │                                            │
│                                   │  HDF5 文件                                 │
│                                   ▼                                            │
│                                                                                │
│   convert_lerobot:  HDF5  →  LeRobot dataset v2.1                              │
│                                                                                │
│   data/lerobot/<dataset>/                                                      │
│      ├─ meta/{info,episodes,tasks,stats,modality}.json(l)                      │
│      ├─ data/chunk-000/episode_NNNNNN.parquet                                  │
│      └─ videos/chunk-000/observation.images.<cam>/*.mp4                        │
└────────────────────────────────────────────────────────────────────────────────┘


                  (仓库范围之外)
                  GR00T N1.7 LoRA finetune

控制流

阶段谁定影响下游
Task 选择L2_scripted(默认 lift_cube_franka)决定环境配置、obs/action 维度
Action 空间三个 L2 必须对齐到同一表示(IK abs)决定能否合并 dataset
是否带 camera三个 L2 各自的 --with_camera 开关决定能否做 VLA 训练
Dataset 格式版本L3 pin lerobot==0.3.3(默认且仅写 v2.1,不支持 v3);convert.py 自己直写 codebase_version="v2.1" magic + GR00T 1.7 魔改 stats.jsonGR00T 兼容性

各层文档导航

路径讲什么
docs/guide/overview.md本文件
docs/guide/pipeline.md8 层 pipeline 全景(项目源文档,不动内容)
docs/guide/environment-and-dependencies.mdL2 venv + L3 venv 怎么搭
docs/schema/hdf5-schema.mdL2 中间产物 schema
docs/schema/lerobot-v2-schema.mdL3 最终产物 schema
docs/schema/obs-action-alignment.md三来源 action 空间统一规则
docs/schema/gr00t-1-7-dataset-constraints.mdGR00T 1.7 对 dataset 的硬性约束
docs/research/research-on-three-trajectory-sources.mdscripted/RL/teleop 的差别、合并的硬约束
docs/research/lerobot-version-study.mdPyPI 版本 ↔ dataset 格式版本对应表
l3/README.mdL3 转换器 how-to(位于仓库根目录)

不在仓库范围内

为什么不做
L0 资产层IsaacLab 已带,复用即可
L1 仿真层IsaacLab 已带
L4 模型架构GR00T 是上游基础模型,本仓库只产数据
L5 训练层GR00T 微调,下游工作
L6 评测层Isaac Lab-Arena,下游工作
L7 部署层TensorRT + Jetson,下游工作
Cosmos 视觉增强L2 的可选支线,本仓库只在 docs 里画接口