端到端新SOTA！GPVL：3D视觉语言预训练的生成式规划新框架！

文章预览

写在前面 & 笔者的个人理解 自动驾驶是一项具有挑战性的任务，需要对自动驾驶汽车的周围环境有深刻的了解，以确保安全和高效的实际部署。优秀的自动驾驶系统必须能够全面感知驾驶环境，并根据道路信息准确做出规划决策。最近，提出了几种端到端自动驾驶框架，并通过传感器数据了解驾驶场景并输出规划决策，取得了可喜的成果。一些早期的方法直接获得预测的规划轨迹，而没有彻底了解驾驶场景，导致可解释性有限且难以收敛的问题。 通过上图可以看出，大多数方案利用传感器信息将多个视觉任务（例如：3D 物体检测和运动预测）集成到一个网络中，以提高规划性能。然而，这些仅基于视觉的方法难以结合上下文线索进行安全决策，需要进一步的进行优化。随着大语言模型 (LLM) 的快速发展，出色的推理能力引起了人们的极大兴趣，并 ………………………………