注册    登录
专栏名称: 黄建同学
数码博主 超话主持人（ChatGPT超话） 头条文章作者 我的学习笔记，关注AI+新能源
今天看啥
微信公众号rss订阅, 微信rss, 稳定的RSS源
目录
今天看啥  ›  专栏  ›  黄建同学

DeepSeek的新论文，梁文峰也是作者之一介绍了NSA（Nat-20250219090223

黄建同学  · 微博  · AI  · 2025-02-19 09:02
    

文章预览

2025-02-19 09:02 本条微博链接 DeepSeek的新论文，梁文峰也是作者之一 介绍了NSA（Native Sparse Attention），一种与硬件对齐且可原生训练的稀疏注意力机制，旨在加速长文本处理的训练和推理速度。 NSA的核心组成包括动态层次稀疏策略、粗粒度的Token压缩以及细粒度的Token选择。通过为现代硬件优化设计，NSA在降低预训练成本的同时加快了推理速度，并能在通用基准测试、长文本任务和基于指令的推理中与全注意力模型匹敌或超 ………………………………

原文地址：访问原文地址
快照地址： 访问文章快照
总结与预览地址：访问总结与预览
推荐文章
爱可可-爱生活  ·  恭喜@一个明天的太阳 等3名用户获得【《零基础开发AI Agen-20250221120211
5 小时前
爱可可-爱生活  ·  【[21k星]Marker：将PDF和图像快速、高精度地转换为M-20250220190710
22 小时前
爱可可-爱生活  ·  本文创新性地提出将 LLM 与人类认知中的系统 1 和系统 2 -20250220060309
昨天
AI前线  ·  发论文亲自上？创业十多年，DeepSeek梁文峰的“技术男”属性从没改变
2 天前
AI范儿  ·  马斯克发布Grok3：多项测试超越DeepSeek，展现强劲竞争力
3 天前
AI范儿  ·  马斯克发布Grok3：多项测试超越DeepSeek，展现强劲竞争力
3 天前
气象学家  ·  Sci. Total Environ | 中国热浪和老年人口暴露的时空变化
9 月前
高分子科学前沿  ·  中科院北京纳米能源所王中林院士、蒲雄研究员《AM》：水凝胶的挠曲离子电效应
8 月前
同花顺投资助手  ·  【掘金】功能上线！高股息、百日排名、异动掘金等功能带你起飞！
7 月前
摩尔投研精选  ·  【数据看盘】IC期指空头大幅减仓， 知名游资近亿元抢筹大众交通！
5 月前
环评云  ·  气候预测的科学挑战和技术发展 | 百年风云讲坛第二十三期
5 月前
关于   移动版   ·   Py中国   ·   RSS之家   ·   CodingPro   ·   Code   ·   Link之家   ·   卧龙AI搜索   ·   小百科   ·   51好读   ·   小百科（海外）   ·   Link管理
今天看啥 - 微信公众号rss订阅, 微信rss, 稳定的RSS源
© 2024 ~ 沪ICP备11025650号