大语言模型&多模态模型在自动驾驶中的应用综述（2）

文章预览

Projection： https://arxiv.org/pdf/2402.01105 本期概述 点击下方 卡片 ，关注“ 自动驾驶之星 ” 这里有一群奋斗在自动驾驶量产第一线的小伙伴等你加入 本期我们继续 分享自动驾驶基础模型的综述： A Survey for Foundation Models in Autonomous Driving 。 接下来我们学习视觉基础模型以及多模态模型在自动驾驶任务中的应用以及挑战！一起来学习一下~ Overview 基础模型分为三大类：大语言模型（Large Language Models）、视觉基础模型（Vision Foundation Models）和多模态基础模型（Multi-modal Foundation Models）。 大语言模型 主要应用于规划、轨迹预测、仿真与测试、用户界面与个性化等领域。 视觉基础模型 则主要用于感知、视频生成与世界建模。 多模态基础模型 整合来自多模态来进行感知与规划、视觉理解与推理 。 视觉基础模型在自动驾驶中的应用方向 （1）感知基础模型 ： ………………………………