【AI】DeepSeek革命性NSA注意力机制问世！梁文锋上阵，长文本推理能力飙升

文章预览

转自新智元 具体来说，它是一种面向硬件且支持原生训练的稀疏注意力机制（Sparse Attention），专为超快长上下文训练与推理设计。其核心组成包括—— 动态分层稀疏策略 粗粒度的token压缩 细粒度的token选择 通过针对现代硬件的优化设计，NSA（原生可训练稀疏注意力机制）在保证性能的同时显著提升了推理速度，并有效降低了预训练成本。 在通用基准测试、长文本处理以及基于指令的推理任务中，它的表现均能达到甚至超越传统全注意力（Full Attention）模型的水平。 值得一提的是，DeepSeek创始人梁文锋这次不仅亲自上阵，并且还亲自提交了论文。 论文地址：https://arxiv.org/abs/2502.11089 目前，这成为了该论文的最大亮点之一。 网友们也不忘艾特整天放小道消息的奥特曼：看，DeepSeek又有新论文了。 部署高效稀疏注意力机制的关键挑战 随着序列长度的 ………………………………