SGLang DP MLA 特性解读

文章预览

↑ 点击 蓝字  关注极市平台 作者丨BBuf 来源丨 GiantPandaCV 编辑丨极市平台 极市导读   本文详细解读了SGLang v0.4版本中针对DeepSeek模型引入的MLA Data Parallelism Attention优化。该优化通过数据并行（DP）方式共享KV Head，避免了在每个TP Worker中重复计算KV Head，从而减少了KV缓存的冗余和内存占用，提高了推理吞吐量，并支持更大的批量大小。  >> 加入极市CV技术交流群，走在计算机视觉的最前沿 我的课程笔记，欢迎关注：https://github.com/BBuf/how-to-optim-algorithm-in-cuda 。 这里简要解析了一下SGLang v0.4版本中针对DeepSeek模型引入的MLA Data Parallelism Attention优化。这个优化可以通过Data Parallelism的方式共享KV Head来避免在每个TP Worker中都重复计算KV Head，这对于DeepSeek 系列模型来说非常有用，因为它的MLA KV Head无法使用TP的方式正常切分多个GPU中，所以只能在不同RANK上复制 ………………………………