deepseek技术解读(1)-彻底理解MLA（Multi-Head Latent Attention）

文章预览

知乎 ：姜富春（已授权） 链接 ：https://zhuanlan.zhihu.com/p/16730036197 编辑 ：「深度学习自然语言处理」公众号 引言 deepseek最近比较出圈，本人也一直关注deepseek发布的一些技术报告。在模型训练、推理性能和计算成本上一直能给大家惊喜。读了deepseek的技术报告，我个人有两个比较强的感受。第一：deepseek在模型细节上扣的比较极致，魔改了一些模型框架（比如模型优化方面： MLA， GRPO，MTP）；第二：工程能力上确实比较强，对于主流的一些框架和技术点能敏捷地整合到自己的系统内（比如：在Infra方面，能看到deepspeed, Megatron，DistServer、vLLM等框架的核心技术点）。后面准备用几篇笔记学习和整理下deepseek的技术。 本文重点讲解下MLA（Multi-Head Latent Attention） 注：我在学习的过程中，通常会有些知识盲点，或掌握不精确的地方，我会递归学习一些扩展的 ………………………………