刚刚！DeepSeek团队丢出注意力新机制重磅论文

文章预览

点击上方“ 图灵人工智能 ”，选择“星标”公众号 您想知道的人工智能干货，第一时间送达                           版权声明 转自机器之心，版权属于原作者，仅用于学术分享 DeepSeek 新论文来了！相关消息刚刚发布到 𝕏 就吸引了大量用户点赞、转发、评论三连。 据介绍，DeepSeek 的这篇新论文提出了一种新的注意力机制 ——NSA。这是一个用于超快长上下文训练和推断的本地可训练的稀疏注意力机制，并且还具有与硬件对齐的特点。 新研究发布两个小时，就有近三十万的浏览量。现在看来，DeepSeek 发布成果，比 OpenAI 关注度都高。 论文标题：Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention 论文链接：https://arxiv.org/abs/2502.11089 值得一提的是，幻方科技、DeepSeek 创始人梁文锋也是论文的作者之一。这成了众多网友讨论的话题。 ………………………………