学术分享丨Science Robotics 麻省理工学院最新研究，从仿真中学习的精确选择、定位和抓放物体的视触觉方法

文章预览

现有的机器人系统在通用性和精确性两个性能目标上难以同时兼顾，往往会陷入一个机器人解决单个任务的情况，缺乏"精确泛化"。本文针对精准和通用的同时兼顾提出了解决方法。提出了SimPLE(Pick Localize和placE的仿真模拟)作为精确拾取和放置的解决方案。该方法在仅给定物体的计算机辅助设计(CAD)模型的情况下，学习在仿真模拟中拾取、抓取和放置物体。它由三个部分组成：任务感知抓取、视触觉物体位姿估计和手对手抓取的运动规划。 图1 精确拾取和放置 之后使用对象的几何形状在模拟中设计组件，然后将SimPLE转移到真实系统，而不需要任何与对象相关的实际经验。 图2 模拟生成模型 图3 现实中的部署情况 1.任务感知抓取 SimPLE根据场景的深度图像对对映抓取进行采样并计算物体姿态的初始估计。之后，我们使用在模拟中学习到的任务感知质量 ………………………………