注册
登录
专栏名称:
微软亚洲研究院
专注科研18年,盛产黑科技
我也要提交微信公众号
今天看啥
微信公众号rss订阅, 微信rss, 稳定的RSS源
微信公众号RSS订阅方法
B站投稿RSS订阅方法
雪球动态RSS订阅方法
微博RSS订阅方法
微博搜索关键词订阅方法
豆瓣日记 RSS订阅方法
目录
相关文章推荐
宝玉xp
·
//@马少平THU:谢谢!大过年的,这是最好 ...
·
昨天
爱可可-爱生活
·
【[446星]Neva:下一代编程语言,用数 ...
·
昨天
浩歌行
·
阿里的“深夜炸弹”:Qwen2.5-Max超 ...
·
昨天
浩歌行
·
阿里的“深夜炸弹”:Qwen2.5-Max超 ...
·
昨天
爱可可-爱生活
·
[CL]《Synthetic Data ...
·
4 天前
宝玉xp
·
回复@坚果壳理论:可以用ollama:网页链 ...
·
5 天前
今天看啥
›
专栏
›
微软亚洲研究院
完全激活稀疏大模型,Q-Sparse突破LLM推理效能
微软亚洲研究院
·
公众号
·
AI
· 2024-07-18 17:00
文章预览
(本文阅读时间:9分钟) 编者按:激活稀疏性是解决大语言模型(LLMs)在推理阶段出现的计算成本高、内存占用大等问题的有效方法,可以有效减少激活张量中激活元素的数量。然而该方法无法实现 LLMs 激活的完全稀疏性,从而限制了推理阶段的效率提升。 对此,微软亚洲研究院提出 Q-Sparse 实现了 LLMs 激活的完全稀疏性。该研究不仅揭示了包括推理优化规模法则(inference-optimal scaling law)在内的多项新发现,还展现出广泛的兼容性,其与 BitNet 正交且互补,为 LLMs 推理中的数据类型提供了全面优化。此外,Q-Sparse 强大的适用性,对从头开始训练、持续训练以及微调都可以提供有效的支持。 本文转载自公众号“量子位”,原文标题《只激活3.8B参数,性能比肩同款7B模型!训练微调都能用,来自微软》。 只需激活60%的参数 ,就能实现与全激活稠密 ………………………………
原文地址:
访问原文地址
快照地址:
访问文章快照
总结与预览地址:
访问总结与预览
分享到微博
推荐文章
宝玉xp
·
//@马少平THU:谢谢!大过年的,这是最好的祝福语//@Mis-20250130215702
昨天
爱可可-爱生活
·
【[446星]Neva:下一代编程语言,用数据流编程解决程序员的-20250130212509
昨天
浩歌行
·
阿里的“深夜炸弹”:Qwen2.5-Max超越DeepSeek V3?
昨天
浩歌行
·
阿里的“深夜炸弹”:Qwen2.5-Max超越DeepSeek V3?
昨天
爱可可-爱生活
·
[CL]《Synthetic Data Can Mislead -20250127055750
4 天前
宝玉xp
·
回复@坚果壳理论:可以用ollama:网页链接 //@坚果壳理论-20250126173145
5 天前