基于BLIP-2 融合视觉信息与轨迹规划信息进行空间融合，用于自动驾驶的多模态大语言模型的轨迹规划

文章预览

Abstract 最近，端到端风格的自动驾驶模型得到了发展。然而，这些模型从感知到控制车辆的决策过程缺乏解释性，使乘客感到不安。为了解决这一问题，构建能够生成描述车辆未来行为及其原因的字幕模型是一种有效的方式。然而，现有方法由于基于瞬时控制信号训练模型，导致生成的推理文本无法充分反映车辆的未来规划行为。本研究提出了一种新的推理模型，将车辆的未来规划轨迹作为输入以解决此问题，同时构建了新的数据集用于验证。  欢迎加入自动驾驶实战群 Introduction 自 2010 年 DARPA Grand Challenge 以来，自动驾驶领域的研究快速发展。深度学习的进步显著提升了目标检测和语义分割等任务的性能，为自动驾驶研究提供了助力。典型的自动驾驶系统采用模块化结构，包括定位、感知、预测、规划和控制等组件。然而，近年来一种端到端方法 ………………………………