具身智能的视觉-语言-动作模型综合综述论文

文章预览

arXiv公开了关于具身智能（Embodied AI）中的视觉-语言-动作模型（Vision-Language-Action Models，简称VLAs）的综合综述论文。介绍了VLAs的概念，它们是为了处理多模态输入而设计的模型，包括视觉、语言和动作模态。这些模型对于具身AI至关重要，因为它们需要理解和执行指令、感知环境并生成适当的动作。 文章讨论了单模态模型的发展，包括计算机视觉、自然语言处理和强化学习中的里程碑模型。强调了多模态模型的出现，这些模型结合了单模态模型的进展，以处理如视觉问答、图像描述和语音识别等任务。 详细介绍了VLA模型的不同组件，包括预训练的视觉表示、动态学习、世界模型和控制策略。讨论了VLA模型的分类，包括基于预训练的模型、基于Transformer的模型和基于大型语言模型（LLM）的模型。探讨了高级任务规划器，这些规划器能够将长期任务分 ………………………………