主要观点总结
本文主要介绍了关于自动驾驶和智能座舱领域的公众号“阿宝1990”所关注的大模型相关话题的讨论。文章详细阐述了车载大模型的现状和发展趋势，包括模型参数、推理计算过程、存储带宽的重要性以及不同计算架构的分析等。
关键观点总结
关键观点1: 公众号介绍及内容概览
“阿宝1990”公众号专注于自动驾驶和智能座舱领域，每天发布汽车相关干货。本文是关于大模型的讨论，涵盖了车载大模型的现状和发展趋势。
关键观点2: 大模型的定义和现状
当前车载大模型的定义尚未统一，但相对于早期的CNN模型，现代的大模型如特斯拉使用的RegNet、小米的UniOcc等都可以称为大模型，但与真正意义上的ChatGPT之类的LLM大模型相比，它们只能算是微模型。
关键观点3: 端到端大模型的出现
端到端大模型的出现改变了现状，这种模型内嵌了一个小型LLM，随着数据的增加，模型参数会越来越大。这种模型的推理过程分为两个阶段：Prefill和Decoding。
关键观点4: LLM推理计算过程的分析
LLM的推理计算过程中，Multi-Head Attention是关键，其中的计算主要集中在矩阵乘法上。在Decoding阶段，Token是逐个生成的，这导致了计算过程中的串行性，而非GPU擅长的并行计算。
关键观点5: 存储带宽在LLM推理中的重要性
存储带宽在LLM推理中非常重要，甚至决定了推理计算速度的上限。车载领域对存储的需求远高于传统LLM，因此存储的选择如HBM、GDDR等变得至关重要。
关键观点6: 现状和挑战
当前，尽管有GDDR6等解决方案，但要流畅运行百亿级别的大模型仍然面临挑战。未来，随着GDDR7等技术的发展，大模型在车载领域的应用将更加广泛。
文章预览
欢迎关注下方公众号 阿宝1990 ，本公众号专注于自动驾驶和智能座舱，每天给你一篇汽车干货，我们始于车，但不止于车。 车载大模型的定义尚无，传统大模型即LLM的参数一般在70亿至2000亿之间，而早期的CNN模型参数通常不到1000万，CNN模型目前大多做骨干网使用，参数飞速增加。特斯拉使用META的RegNet，参数为8400万，消耗运算资源很少，得分82.9也算不低；小米UniOcc使用META的ConvNeXt-B，参数8900万，消耗运算资源最少，得分83.8；华为RadOcc使用微软的Swin-B，参数8800万。相对于早期的CNN模型，这些都可以叫大模型，但要与真正意义上的ChatGPT之类的LLM大模型比，这些是小模型都称不上，只能叫微模型。 不过，端到端的出现改变了这一现状，端到端实际上是内嵌了一个小型LLM，随着喂养数据的增加，这个大模型的参数会越来越大，最初阶段的模型大小大概
………………………………
