DeepSeek革命性NSA注意力机制问世！梁文锋上阵，长文本推理能力飙升

文章预览

点击上方“ 图灵人工智能 ”，选择“星标”公众号 您想知道的人工智能干货，第一时间送达                           版权声明  转自新智元，版权属于原作者，仅用于学术分享 【导读】 DeepSeek 联手两大机构祭出神作，再次惊艳全世界。创始人亲自率队，提出了革命性注意力机制 NSA ，在通用、长文本、思维链推理基准测试中，刷新SOTA碾压全注意力，很有可能，NSA是对Transformer注意力机制的重大优化。 就在刚刚，DeepSeek官方再发布新论文！ 在这篇论文中，来自DeepSeek、北大和华盛顿大学的研究人员提出了一种全新的注意力机制NSA。 具体来说，它是一种面向硬件且支持原生训练的稀疏注意力机制（Sparse Attention），专为超快长上下文训练与推理设计。其核心组成包括—— 动态分层稀疏策略 粗粒度的token压缩 细粒度的token选择 通过针对现代硬件 ………………………………