APOLLO系列优化器通过巧妙地将AdamW的学习率更新策略简化-20241210054657

爱可可-爱生活 · 微博 · AI · 2024-12-10 05:46

文章预览

2024-12-10 05:46 本条微博链接 APOLLO系列优化器通过巧妙地将AdamW的学习率更新策略简化为结构化形式并利用随机投影进行低秩近似，在显著降低内存消耗的同时，实现了与AdamW相当甚至更好的训练性能和吞吐量，并首次实现了在低端GPU上训练大型语言模型。 [LG]《APOLLO: SGD-like Memory, AdamW-level Performance》H Zhu, Z Zhang, ………………………………

原文地址：访问原文地址
快照地址：访问文章快照
总结与预览地址：访问总结与预览

分享到微博

推荐文章

量子位 · 高通最新5G芯片，AI爆了

19 小时前

爱可可-爱生活 · 本文揭示了L2正则化在深度神经网络训练中诱导的低秩偏差，并创新性-20250303052728

昨天

黄建同学 · supervision 已经超过2.6万⭐了！这是一个可重复使用-20250302205727

昨天

黄建同学 · Landing AI 也是吴恩达创建的公司。他创建的公司都有（2-20250302074950

2 天前

爱可可-爱生活 · [LG]《Training a Generally Curiou-20250302053238

2 天前

熠熠全球能源观察 · 【公告】IECEX国际防爆电气认证培训

8 月前

国家应急广播 · 春运叠加甲流高发，火车上发烧了能下车吗？

1 月前