Attention又升级！Moonshot | 提出MoE注意力架构：MoBA，提升LLM长文本推理效率

文章预览

点击上方 “ AINLPer “ ，设为 星标 更多干货，第一时间送达 引言 对于大模型来说，有效扩展上下文长度对于实现通用人工智能至关重要。我们知道传统注意力机制的计算复杂度呈二次方增长，这极大限制了模型的扩展性。而现有方法要么引入任务特定的强偏差结构，要么是将注意力机制近似修改为线性。而本文作者 将MoE的思想应用到了Attention机制上 ，提出了MoBA方法，该方法能够无缝切换全注意力和稀疏注意力，不仅提升了LLM推理效率，且保证了模型性能。 对Attention不了解的小伙伴，可以阅读： 2万字长文！一文了解Attention，从MHA到DeepSeek MLA，大量图解，非常详细！ 论文：https://arxiv.org/pdf/2502.13189 代码：https://github.com/MoonshotAI/MoBA 背景介绍 人工通用智能(AGI)的追求推动了大型语言模型(LLMs)发展到前所未有的规模，有望处理模仿人类认知的复杂任 ………………………………