缓存与效果的极限拉扯：从MHA、MQA、GQA到MLA

文章预览

©PaperWeekly 原创 · 作者 | 苏剑林 单位 | 科学空间 研究方向 | NLP、神经网络 前几天，幻方发布的 DeepSeek-V2  [1] 引起了大家的热烈讨论。首先，最让人哗然的是 1 块钱 100 万 token 的价格，普遍比现有的各种竞品 API 便宜了两个数量级，以至于有人调侃“这个价格哪怕它输出乱码，我也会认为这个乱码是一种艺术”；其次，从模型的技术报告看，如此便宜的价格背后的关键技术之一是它新提出的 MLA（ M ulti-head L atent A ttention），这是对 GQA 的改进，据说能比 GQA 更省更好，也引起了读者的广泛关注。 接下来，本文将跟大家一起梳理一下从 MHA、MQA、GQA 到 MLA 的演变历程，并着重介绍一下 MLA 的设计思路。 MHA MHA（ M ulti- H ead A ttention），也就是多头注意力，是开山之作 《Attention is all you need》 所提出的一种 Attention 形式，可以说它是当前主流 LLM 的基础 ………………………………