4.6 引入 LeRobot · 遥操数据采集
本节目标
引入 LeRobot:用 teleop + LeRobot 录制抓放演示,构建训练数据集,为 4.7 的 VLA 训练备料。这一步起正式进入“学习派”工具链。
产出物
- LeRobotDataset 格式的抓放演示集。
- 覆盖计划:起点/终点格、capture / 非 capture、特殊规则动作。
- 相机布置固定并记录其位姿。
用到的技术栈与学习算法
- LeRobot:录制与标准数据格式(本步引入)。
- 遥操采数。
- 数据高效参考:等变扩散 EquiDiff(<60 demo)、EasyInsert 自动数据扩增。
验收标准
- 数据集可被 LeRobot 正常加载。
- 格位覆盖足够。
- 相机自采数到部署全程未移动。
⚠️ 真机与安全
⚠️ 真机遥操采数,命令由 Jeff 运行。
硬件基建(M0)为本步硬性前置
从本步起进入学习派,对硬件一致性提出硬性要求:遥操装置搭好、双相机刚性固定、一次性棋盘平面外参完成。这些是 4.6/4.7 的硬性前置,未就绪不得开始采数。
关键提醒:相机采数后必须固定
VLA 从“某视角的像素”学动作,相机一动输入分布漂移、策略退化。
- 顶/固定相机(eye-to-hand):相对底座,采数到部署、各 episode 间必须一致不动;动了 = 数据作废。
- 腕相机(eye-in-hand):随臂动,但相对夹爪刚性固定——拧死在末端。
- 原则:一致性 > 已知性。
知识点(开发中记录)
📝 开发时在此记录本节涉及的原理、算法、概念。
操作过程(开发中记录)
🛠️ 开发时在此记录命令、步骤、配置与复现流程。
难点与坑(开发中记录)
⚠️ 开发时在此记录踩坑、失败现象、调参与解决方案。