空间智能新进展：教机器人组装宜家家具，首次实现操作步骤与真实视频对齐 | NeurIPS

文章预览

克雷西 发自 凹非寺 量子位 | 公众号 QbitAI 斯坦福吴佳俊团队，给机器人设计了一套组装 宜家家具 的视频教程！ 具体来说，团队提出了用于机器人的大型多模态数据集 IKEA Video Manuals ，已入选NeurIPS。 数据集涵盖了6大类IKEA家具，每种家具都包含完整的3D模型、组装说明书和实际组装视频。 而且划分精细，拆解出的安装子步骤多达1000多个。 作者介绍，该数据集首次实现了组装指令在真实场景中的4D对齐，为研究这一复杂问题提供了重要基准。 知名科技博主、前微软策略研究者 Robert Scoble 说，有了这个数据集，机器人将可以学会自己组装家具。 团队成员、斯坦福访问学者李曼玲 （Manling Li） 表示，这是空间智能领域的一项重要工作： 这项工作将组装规划从2D推进到3D空间，通过理解底层视觉细节，解决了空间智能研究中的一个主要瓶颈。 1120个子步 ………………………………