IEEE RA-L 2024丨NaturalVLM：利用细粒度自然语言实现可供性引导视觉操作

文章预览

来源：投稿  作者：橡皮 编辑：学姐 项目主页：https://sites.google.com/view/naturalvlm 论文链接：https://arxiv.org/abs/2403.08355 摘要： 让家庭助理机器人能够根据人类语言指令感知和操纵各种 3D 物体是一项关键挑战。先前的研究主要集中在简单且面向任务的指令上，例如“滑动打开顶部抽屉”。然而，许多现实世界的任务需要复杂的多步骤推理，如果没有人类指令，这些任务对于机器人操纵来说将变得极其困难。为了应对这些挑战，我们引入了一个综合基准 NrVLM，它包含 15 个不同的操纵任务，包含超过 4500 个情节，这些情节用细粒度的语言指令进行了细致的注释。我们将长期任务过程分为几个步骤，每个步骤都有一个自然语言指令。此外，我们提出了一个新颖的学习框架，根据细粒度的指令逐步完成操纵任务。具体来说，我们首先确定要执行的指令，同时 ………………………………