主题
概览:仓库全图
一句话
把 IsaacLab 仿真环境产生的轨迹(三种来源)加工成 GR00T 能直接消费的 LeRobot v2 数据集。覆盖 8 层 pipeline 的 L2 + L3。
全图
┌────────────────────────────────────────────────────────────────────────────────┐
│ IsaacSim 6.0.0 + IsaacLab + torch 2.10 cu128 │
│ │
│ ┌──────────────────────┐ ┌──────────────────────┐ ┌──────────────────────┐ │
│ │ sources/scripted/ │ │ sources/rl/ │ │ sources/teleop/ │ │
│ │ Warp SM │ │ PPO + record │ │ keyboard/SM │ │
│ └──────┬───────────────┘ └──────┬───────────────┘ └──────┬───────────────┘ │
│ │ │ │ │
│ ▼ ▼ ▼ │
│ data/{task}/{source}/{run_id}/*.hdf5 (每个 source 下每次运行一个 run 子目录) │
│ │
│ │ │
│ │ HDF5 文件 │
│ ▼ │
│ │
│ convert_lerobot: HDF5 → LeRobot dataset v2.1 │
│ │
│ data/lerobot/<dataset>/ │
│ ├─ meta/{info,episodes,tasks,stats,modality}.json(l) │
│ ├─ data/chunk-000/episode_NNNNNN.parquet │
│ └─ videos/chunk-000/observation.images.<cam>/*.mp4 │
└────────────────────────────────────────────────────────────────────────────────┘
│
▼
(仓库范围之外)
GR00T N1.7 LoRA finetune控制流
| 阶段 | 谁定 | 影响下游 |
|---|---|---|
| Task 选择 | L2_scripted(默认 lift_cube_franka) | 决定环境配置、obs/action 维度 |
| Action 空间 | 三个 L2 必须对齐到同一表示(IK abs) | 决定能否合并 dataset |
| 是否带 camera | 三个 L2 各自的 --with_camera 开关 | 决定能否做 VLA 训练 |
| Dataset 格式版本 | L3 pin lerobot==0.3.3(默认且仅写 v2.1,不支持 v3);convert.py 自己直写 codebase_version="v2.1" magic + GR00T 1.7 魔改 stats.json | GR00T 兼容性 |
各层文档导航
| 路径 | 讲什么 |
|---|---|
docs/guide/overview.md | 本文件 |
docs/guide/pipeline.md | 8 层 pipeline 全景(项目源文档,不动内容) |
docs/guide/environment-and-dependencies.md | L2 venv + L3 venv 怎么搭 |
docs/schema/hdf5-schema.md | L2 中间产物 schema |
docs/schema/lerobot-v2-schema.md | L3 最终产物 schema |
docs/schema/obs-action-alignment.md | 三来源 action 空间统一规则 |
docs/schema/gr00t-1-7-dataset-constraints.md | GR00T 1.7 对 dataset 的硬性约束 |
docs/research/research-on-three-trajectory-sources.md | scripted/RL/teleop 的差别、合并的硬约束 |
docs/research/lerobot-version-study.md | PyPI 版本 ↔ dataset 格式版本对应表 |
l3/README.md | L3 转换器 how-to(位于仓库根目录) |
不在仓库范围内
| 层 | 为什么不做 |
|---|---|
| L0 资产层 | IsaacLab 已带,复用即可 |
| L1 仿真层 | IsaacLab 已带 |
| L4 模型架构 | GR00T 是上游基础模型,本仓库只产数据 |
| L5 训练层 | GR00T 微调,下游工作 |
| L6 评测层 | Isaac Lab-Arena,下游工作 |
| L7 部署层 | TensorRT + Jetson,下游工作 |
| Cosmos 视觉增强 | L2 的可选支线,本仓库只在 docs 里画接口 |