撞车DeepSeek NSA，Kimi杨植麟署名的新注意力架构MoBA发布，代码也公开

文章预览

机器之心报道 机器之心编辑部 昨天下午，DeepSeek 发布了一篇新论文，提出了一种改进版的注意力机制 NSA；加上还有创始人兼 CEO 梁文锋亲自参与，一时之间吸引眼球无数，参阅报道《 刚刚！DeepSeek 梁文锋亲自挂名，公开新注意力架构 NSA 》。 但其实就在同一天，月之暗面也发布了一篇主题类似的论文，并且同样巧合的是，月之暗面创始人兼 CEO 杨植麟也是该论文的署名作者之一。并且不同于 DeepSeek 只发布了一篇论文，月之暗面还发布了相关代码。且这些代码已有一年的实际部署验证，有效性和稳健性都有保证。 这篇论文提出了一种名为 MoBA 的注意力机制，即 Mixture of Block Attention，可以直译为「块注意力混合」。据介绍，MoBA 是「 一种将混合专家（MoE）原理应用于注意力机制的创新方法。 」该方法遵循「更少结构」原则，并不会引入预定义的偏 ………………………………