sim2lerobot 文档

主题

术语表 ​

仓库里反复出现的术语，按字母顺序。

A ​

  • action chunk：VLA 推理时一次输出未来 N 步动作，减少模型调用频率。
  • ActionTerm：IsaacLab manager-based env 的 action 抽象，例如 JointPositionActionCfg、DifferentialInverseKinematicsActionCfg。

C ​

  • codebase_version：写在 LeRobot dataset meta/info.json 里的磁盘 schema 版本号（v2.0/v2.1/v3.0），与 lerobot PyPI 包版本号是两回事。
  • cuRobo：NVIDIA 的 GPU 加速 motion planning 库，几毫秒级别生成机器人轨迹。

D ​

  • decimation：仿真子步与 policy step 的比值。本项目 sim.dt=0.01、decimation=2，所以 policy 50 Hz、物理 100 Hz。
  • DifferentialIK：差分逆运动学控制器。use_relative_mode=False 接绝对位姿（IK abs），True 接 SE3 delta（IK rel）。

E ​

  • EE / EEF：End-Effector，末端执行器（机械臂手爪 tip）。
  • EEF-relative：跨具身训练时把 action 表示成 EE 相对位姿，缓解不同机器人本体的负迁移。
  • Episode：一次完整的任务尝试 trajectory，从 env.reset() 到 done=True 之间的所有 step。

F ​

  • Flow Matching：把 action 生成建模为从噪声到目标分布的连续流，比 Diffusion 推理快。是 π0、GR00T N1.5+ 用的 action head。
  • format_version：HDF5 顶层 attrs 字段。1 = XYZW quat，0 = legacy WXYZ quat。

G ​

  • GR00T：NVIDIA 开源的人形机器人 VLA 基础模型。当前消费 LeRobot dataset 格式 v2。
  • gripper：夹爪。本仓库统一二值控制（OPEN=+1 / CLOSE=-1）。

H ​

  • HDF5：本仓库 L2 中间产物格式，schema 对齐 IsaacLab HDF5DatasetFileHandler。

I ​

  • IK abs / IK rel：IK absolute / IK relative 的简写。abs 接绝对 EE pose，rel 接 SE3 delta。
  • Isaac Lab：基于 Isaac Sim 的 GPU 并行 RL/IL 训练框架。
  • Isaac Sim：基于 Omniverse 的高保真仿真平台。
  • IsaacLab Mimic：IsaacLab 子模块，把单条 demo 自动扩增上百倍。

L ​

  • LeRobot：HuggingFace 开源的机器人数据集 / 训练框架。
  • LeRobot Dataset v2：磁盘格式版本，GR00T 当前要求。注意与 lerobot PyPI 包版本（0.3.3 / 0.5.1）区分。
  • LoRA：Low-Rank Adaptation，参数高效微调方法。

M ​

  • modality.json：GR00T-specific 元数据文件，把 1-D concat 的 observation.state/action 切回语义字段。
  • motion planner：路径规划器（cuRobo / RmpFlow / SkillGen）。

O ​

  • observation.state：LeRobot dataset 里 1-D concat 的 state 向量，按 modality.json 切片解读。
  • OpenUSD：Pixar 开源的 3D 资产格式标准，NVIDIA 力推。
  • OpenXR：跨厂商 VR / AR 设备 API。

P ​

  • PhysX：NVIDIA 默认刚体物理引擎。
  • proprioception / proprio：机器人本体感觉（关节角、关节速度、IMU 等），不含外部视觉。

R ​

  • RecorderManager：IsaacLab 的录制基础设施，挂在 env_cfg 上自动写 HDF5。
  • retargeter：把人手姿态映射到机器人末端的转换器（teleop 用）。
  • rollout：用 policy 在 sim 里执行完整 episode 的过程。

S ​

  • scripted policy：手写的确定性"专家"，例如 Warp kernel 实现的有限状态机。
  • SE3：3D 刚体变换群，包含位置 + 朝向。
  • SimReady：OpenUSD 扩展标准，确保资产带正确物理属性。
  • Sim2Real Gap：仿真与真实世界的差距。
  • state machine (SM)：本仓库 l2/scripted 的核心实现形式。

T ​

  • task_index：LeRobot dataset 里指向 tasks.jsonl 某行的整数索引。
  • teleop：teleoperation，人类遥操作。
  • timestamp：parquet 列，自 episode start 的秒数。

V ​

  • VLA：Vision-Language-Action 模型架构。Vision Encoder + VLM Backbone + Action Head。
  • VLM：Vision-Language Model（如 PaLM-E、Gemma-VL）。

W ​

  • Warp：NVIDIA 的 Python-to-GPU JIT 框架，本仓库 SM 用它写 kernel。