Kimi最新发布！与DeepSeek“撞车”？

文章预览

2月18日，月之暗面Kimi发布最新论文《MoBA: Mixture of Block Attention for Long-Context LLMs》（《MoBA：面向长文本大模型的混合块注意力机制》），并公布已部署于Kimi的工程代码。在长文本处理任务中，采用混合块注意力（简称“MoBA”）技术的模型可在保持相近性能的同时，显著降低注意力计算时间及内存消耗。 值得注意的是，DeepSeek也于同期发表论文，提出原生稀疏注意力（简称“NSA”）（详见此前报道《 DeepSeek发布最新技术论文！梁文锋参与署名 》）。有业内专家表示，此次两家公司在注意力机制研究上的“撞车”，有助于人们更好理解强化学习的技术发展，以及更高效更长文本的注意力机制的进化方向。 百万token提速6.5倍 MoBA是一种受专家混合（MoE）和块稀疏注意力（Block Sparse Attention）启发的注意力架构。据悉，在百万token测试中，MoBA比全注意力提 ………………………………