DeepSeek-V2和MLA

主要观点总结

本文介绍了DeepSeek-V2模型的关键特性和技术细节，包括其使用的MLA（Multi-Head Latent Attention）机制、负载均衡策略、训练过程等。此外，文章还提到了DeepSeek-V2-Lite模型，以提供方便开源研究的小规模模型。文章的主要观点是DeepSeek-V2模型在保持高效推理的同时，达到了与大规模密集模型相当的效果。

关键观点总结

关键观点1: DeepSeek-V2模型使用MLA机制降低KV cache需求，提高推理效率。

DeepSeek-V2通过引入MLA机制，实现了对K和V的压缩，从而减少了推理时需要缓存的数据量。此外，文章还详细解释了MLA的设计和实现细节，包括与MHA、GQA等注意力机制的比较。

关键观点2: DeepSeek-V2模型采用MoE结构，使用负载均衡策略。

DeepSeek-V2是一个基于MoE（Mixture-of-Experts）结构的大型语言模型。为了平衡效果和效率，DeepSeek-V2采用了多种负载均衡策略，包括Device-Limited Routing、Expert-Level Balance Loss等。

关键观点3: DeepSeek-V2模型进行了大规模的预训练和数据增强。

DeepSeek-V2模型使用了大规模的预训练数据，包括基础预训练和长窗口训练。此外，还采用了数据增强技术如YaRN来扩展模型的上下文长度。这些技术有助于提高模型的性能。

关键观点4: DeepSeek-V2模型与其他模型的性能比较。

文章通过对比实验验证了DeepSeek-V2模型与其他较大规模模型的性能表现。结果显示，DeepSeek-V2在多个评测指标上达到了与大规模密集模型相当的效果。

关键观点5: DeepSeek-V2-Lite模型的介绍。

为了方便开源研究，研究人员提供了一个较小规模的DeepSeek-V2-Lite模型。该模型具有较小的参数数量和计算量，但仍保持了良好的性能表现。

文章预览

DeepSeek-V2发布之后，其低价策略在国产大模型界掀起一阵降价风。 DeepSeek-V2能做到低成本推理的一个原因就是使用了MLA，使得推理时缓存量大大减小。 本篇来看下MLA以及DeepSeek-V2一些其他细节。 DeepSeek-V2除了一个总参数量为236B的主模型外，还有一个方便开源研究的DeepSeek-V2-Lite，总参数量为15.7B，这个在最后介绍。 1.模型 DeepSeek-V2介绍： 总参数量为236B参数，激活21B 支持128k长度 相比DeepSeek-67B，DeepSeek-V2节省42.5%的训练成本和93.3%的推理KV cache需求，而最大throughput则是前者的5.76倍 DeepSeek-V2和其他一些大模型在MMLU上的效果以及激活参数量的对比如下图 可以看到DeepSeek-V2以更少的激活参数量达到了接近70B dense模型水平的效果。 DeepSeek-V2模型结构如下图 同V1版本一样，V2在MoE层使用了fine-grained expert和shared expert（或者叫DeepSeekMoE结构）（可参考《 MoE模型的前 ………………………………