TPAMI 2024 | 学习遵循和生成语言导航指令

文章预览

点击上方 “ 小白学视觉 ”，选择加" 星标 "或“ 置顶 ” 重磅干货，第一时间送达 题目：Learning to Follow and Generate Instructions for Language-Capable Navigation 学习遵循和生成语言导航指令 作者：Xiaohan Wang; Wenguan Wang; Jiayi Shao; Yi Yang 源码链接： https://github.com/wxh1996/LANA-VLN 摘要 视觉-语言导航（VLN）是一项具有挑战性的任务，它要求具身智能体依据自然语言指令在之前未曾见过的环境中进行导航。然而，现有文献主要强调将指令解释为动作，仅提供了“哑巴”寻路智能体，这些智能体不能主动使用自然语言与人类交流。在本文中，我们设计了一个名为LANA的语言型导航智能体，它不仅能执行人类编写的导航命令，还能向人类提供路线描述。这是通过单一模型同时学习指令跟随和生成来实现的。更具体地说，构建了两个编码器，分别用于路线和语言编码，并由两 ………………………………