Soma Zero Tutorials
🔍 搜索功能尚未开启,敬请期待。

2.9 实战任务二:单臂开关抽屉取物

有了 8.实战任务一:单臂抓取放置(ACT、SmolVLA、Pi0) 的基础,我们来实验另一个任务,这个任务更复杂一点:

我用的抽屉购买链接

  • 开启抽屉
  • 抓取积木,放进抽屉
  • 关闭抽屉

数据采集、数据转换、可视化、训练、部署等流程都是一样的,我们用这个例子探索一下 VLA 能不能做一些更复杂的任务。

1. 遥操采集数据:

下面是我实际录制的操作画面(1X 速度),建议:

  • 采集至少 80 个 Episodes
  • 如果有抽屉状态比较单一,但是积木位置如果有变化,每个位置采集 10 个 Episodes
🎬 演示视频 drawer_collect.mp4
在线观看(需登录恩培资料中心)

2. 推理

下面所有的推理都是 1X 速度。

2.1 ACT

比较稳定

🎬 演示视频 drawer_infer_act.mp4
在线观看(需登录恩培资料中心)

2.2 SmolVLA

表现一般

🎬 演示视频 drawer_infer_smolvla.mp4
在线观看(需登录恩培资料中心)

2.3 Pi0

这个任务对于 Pi0 肯定没问题,我们加点干扰

🎬 演示视频 drawer_infer_pi0.mp4
在线观看(需登录恩培资料中心)

本套课程到这里就结束了,感谢大家支持,希望以后有缘再见!