本文提出了一种名为 MOHD 的新型 Transformer 架-20241211054535

爱可可-爱生活 · 微博 · AI · 2024-12-11 05:45

文章预览

2024-12-11 05:45 本条微博链接本文提出了一种名为 MOHD 的新型 Transformer 架构，通过巧妙地利用隐藏维度稀疏性和激活流模式，在保持甚至提升性能的同时显著降低了模型参数，为构建更高效的大规模语言模型提供了新的方向。 [CL]《Mixture of Hidden-Dimensions Transformer》Y Chen, J Shang, Z Zhang, J Sheng... [Chinese Academy of Scienc ………………………………

原文地址：访问原文地址
快照地址：访问文章快照
总结与预览地址：访问总结与预览

分享到微博

推荐文章

爱可可-爱生活 · 本文反直觉地揭示了过度扩展思维链长度会损害 LLM 推理性能，并-20250227055000

19 小时前

爱可可-爱生活 · 本文提出了 TEXTGAMES 这一创新的文本谜题游戏基准评测，-20250227060342

19 小时前

爱可可-爱生活 · 【[89星]SlamKit：专门为了提高语音语言模型训练效率而设-20250226124411

昨天

爱可可-爱生活 · 【英伟达面向Blackwell架构优化的DeepSeek-R1模-20250225145550

2 天前

爱可可-爱生活 · 本文提出了一种名为 SIFT 的创新性、无需训练的推理时框架，通-20250225053418

2 天前

云技术 · 1630万元，智慧办公大单：中海通中标

2 月前

医心医考 · 2025中医主治系列60|针灸主治-针灸学官方指导用书变化详情

1 月前

FM93交通之声 · 乌尔善：《封神第三部》已剪完，希望观众给机会！殷郊三头六臂、蓝皮肤红头发的形象很酷

1 周前