本文提出了一种名为 MOHD 的新型 Transformer 架-20241211054535

爱可可-爱生活 · 微博 · AI · 2024-12-11 05:45

文章预览

2024-12-11 05:45 本条微博链接本文提出了一种名为 MOHD 的新型 Transformer 架构，通过巧妙地利用隐藏维度稀疏性和激活流模式，在保持甚至提升性能的同时显著降低了模型参数，为构建更高效的大规模语言模型提供了新的方向。 [CL]《Mixture of Hidden-Dimensions Transformer》Y Chen, J Shang, Z Zhang, J Sheng... [Chinese Academy of Scienc ………………………………

原文地址：访问原文地址
快照地址：访问文章快照
总结与预览地址：访问总结与预览

分享到微博

推荐文章

爱可可-爱生活 · 今日推介(第1657期)：大语言模型的思维进化、对意图感知推荐模-20250121054404

16 小时前

宝玉xp · //@落魄的三叔:你们再细看一下域名:wechat.steamp-20250120023232

昨天

宝玉xp · 回复@地才卷大葱:👍//@地才卷大葱:Build a Larg-20250119230449

昨天

宝玉xp · 回复@法亦是一段时间:当全世界的AI运算所需资源加起来所需电力和-20250119010734

2 天前

爱可可-爱生活 · 【[1.6k星]React Bits：一个开源库，提供多种动画、-20250118184251

3 天前

大河票务网 · 【全新升级：深圳】2024告五人 [宇宙超有趣] 新世界巡回演唱会，首次大型户外体育场，宇宙的有趣，就在脚下！

6 月前

Eric有话说 · 莱迪思Q2财报一览：FPGA至暗时刻，工业、汽车、通讯成重灾区

5 月前

电车人产业平台 · 8月增程乘用车终端销量TOP35 排行榜

3 月前