热点关注丨DeepSeek梁文锋亲自挂名，公开新注意力架构NSA

文章预览

转自 机器之心 机器之心报道 机器之心编辑部 DeepSeek 新论文来了！相关消息刚刚发布到 𝕏 就吸引了大量用户点赞、转发、评论三连。 据介绍， DeepSeek 的这篇新论文提出了一种新的注意力机制 ——NSA。这是一个用于超快长上下文训练和推断的本地可训练的稀疏注意力机制，并且还具有与硬件对齐的特点。 新研究发布两个小时，就有近三十万的浏览量。现在看来，DeepSeek 发布成果，比 OpenAI 关注度都高。 论文标题：Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention 论文链接：https://arxiv.org/abs/2502.11089 值得一提的是，幻方科技、DeepSeek 创始人梁文锋也是论文的作者之一。这成了众多网友讨论的话题。 接下来，让我们看下梁文锋亲自参与的研究，讲了什么内容。 论文概览 长上下文建模是下一代大型语言模型（LLM）的关键能力，这一需求 ………………………………