北大提出首个通用指令导航大模型系统 | CoRL 24

文章预览

董豪团队 投稿 量子位 | 公众号 QbitAI 想象一下当你躺在沙发上，只需要不假思索地说出指令，机器人就能帮你干活，是不是听起来就十分惬意 ？ 如今这种科幻电影中的场景正在变为现实，来自北京大学的助理教授、博士生导师 董豪团队 近日提出 首个通用指令导航大模型系统InstructNav 。 不论是寻找物体，走到指定位置，还是满足抽象的人类需求，只要你说出指令，InstructNav都能帮你实现。 目前该工作已经被 CoRL  （Conference on Robot Learning）2024会议录用，文章可在Arxiv浏览，代码也即将在近期开源。 大模型如何统一具身指令导航规划？ 不同的导航任务要求截然不同的能力，经典的物体导目标航任务需要理解房间结构和物体之间的联系，视觉语言导航任务侧重于严谨地遵循指令，而新兴的需求驱动的导航任务要求根据人类抽象需求进行语义推理。 先 ………………………………