Kimi新论文再次“撞车”DeepSeek，都谈到了长文注意力机制

文章预览

一水 发自 凹非寺 量子位 | 公众号 QbitAI Kimi背后的长上下文处理机制曝光了！ 这项名为 MoBA 的新型注意力机制，能将处理 1M 长文本的速度一下子提升 6.5倍 ，而且还是经过Kimi平台实际验证的那种。 概括而言，这项耗时一年半的工作主要看点在： 把完整上下文划分成 块 ，让每个查询token自动去关注最相关的KV块，这样就能高效处理长序列数据； 提出一种新的参数无关的top-k门控机制，它能给每个查询token挑选出最相关的块，保证模型只聚焦在最有用信息的块上； 支持在全注意力和稀疏注意力模式之间轻松切换； 一言以蔽之，MoBA将MoE （专家混合） 应用于注意力机制，通过遵循一种“less structure” 原则，允许模型自主决定关注哪些区域或位置。 最终结果是，在保持模型性能不变的前提下，将处理 1M 和 10M 长文本的速度分别提升了 6.5倍 和 16倍 。 而 ………………………………