专栏名称: 麻省理工科技评论
《麻省理工科技评论》杂志官方微博 源自麻省理工学院,关注即将商业化的创新,聚焦即将资本化的创业。
今天看啥  ›  专栏  ›  麻省理工科技评论

【DeepSeek开源新一代注意力机制NSA,梁文锋亲自挂名,长-20250218200311

麻省理工科技评论  · 微博  ·  · 2025-02-18 20:03
    

文章预览

2025-02-18 20:03 本条微博链接 【DeepSeek开源新一代注意力机制NSA,梁文锋亲自挂名,长上下文建模更高效!】 在 #马斯克# 的 #Grok3# 发布会反复与 #DeepSeek# 进行比较之后,DeepSeek 不语,只是又在 X 上公布了一项新的技术成果。 由 DeepSeek 联合创始人 #梁文锋# 亲自挂名的研究团队,在 arXiv 上发表了一篇题为“Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention”的论文,提出了一种全新的注意力机制架构 NSA(Nat ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览