腿部 UMI：以操作为中心的全身控制器使操作策略能够移动

文章预览

24年7月来自斯坦福/哥伦比亚大学和谷歌的论文“UMI on Legs: Making Manipulation Policies Mobile with Manipulation-Centric Whole-body Controllers”。 UMI-on-Legs，这是一个将现实世界和模拟数据相结合的四足机器人操纵系统新框架。用手持式夹持器 (UMI) 在现实世界中扩展以任务为中心的数据收集，从而提供一种无需机器人即可展示与任务相关操纵技能的廉价方法。同时，训练 全身控制器（WBC） 进行任务跟踪（无需任务模拟设置），在模拟中扩展以机器人为中心的数据。这两个策略之间的接口是任务框架中的末端执行器轨迹，由操纵策略推断并传递给全身控制器进行跟踪。在抓握、非抓握和动态操纵任务上评估 UMI-on-Legs ，并报告所有任务超过 70% 的成功率。最后，展示在四足机器人系统上对先前工作中预训练的操纵策略检查点进行零样本跨具身部署，该检查点最初用于 ………………………………