技术梳理 | 视觉语言导航（VLN）入门基础！

文章预览

unset unset 一.  概述 unset unset 视觉语言导航（Vision-Language Navigation, VLN）是一个多学科交叉的研究领域，涵盖了自然语言处理、计算机视觉、多模态信息融合以及机器人导航等多个学科。 在该领域，研究人员致力于开发能够理解自然语言指令，并在复杂环境中实现自主导航的智能体。 1.  任务介绍 视觉语言导航任务通常依赖于指令以及由环境模拟器（如Matterport3D、Habitat等）构建的交互式环境。 智能体的任务是按照自然语言指令要求，在环境中导航到目标位置。 指令被表示为一个单词序列，记作  ，其中   是单词的总数。 模拟器为智能体提供了数据交互接口，能够依据智能体的状态（例如坐标和朝向）以及其执行的操作，生成动态的感知信息。 离散环境 在离散环境下，模拟器由一个连通图   表示，其中   表示可导航节点的集合，  定义了这 ………………………………