多模态大型语言模型在自动驾驶中的应用

文章预览

点击下方 卡片 ，关注“ 自动驾驶专栏 ”公众号 自动驾驶干货 ，即可获取 论文链接：https://arxiv.org/pdf/2412.16410 摘要 本文介绍了多模态大型语言模型在自动驾驶中的应用。在这个技术进步的时代，正在实现若干种尖端技术来增强自动驾驶（AD）系统，着重于提高在复杂环境中的安全性、效率和适应性。然而，AD仍然面临着一些问题，包括性能限制。为了解决这个问题，本文对多模态大型语言模型（MLLM）的实现进行深入的研究。本文构建了一个虚拟问答（VQA）数据集来微调模型，并且解决MLLM在AD中性能不佳的问题。然后，本文通过场景理解、预测和决策来分解AD决策过程。思维链被用于使决策更完美。本文对自动驾驶的实验和详细分析反映了MLLM对AD的重要性。 主要贡献 本文的贡献总结如下： 1）本文基于MLLM的框架在有限的计算资源、多模态和复杂 ………………………………