通过分析LLM预训练中梯度动态，发现不同层低秩结构以非均匀方式出-20240718053935

爱可可-爱生活 · 微博 · AI · 2024-07-18 05:39

文章预览

2024-07-18 05:39 本条微博链接通过分析LLM预训练中梯度动态，发现不同层低秩结构以非均匀方式出现，并提出自适应层级低秩压缩与仅反向传播LRCs的高效联合微调策略WeLore。 [LG]《From GaLore to WeLore: How Low-Rank Weights Non-uniformly Emerge from Low-Rank Gradients》A Jaiswal, L Yin, Z Zhang, S Liu... [University of Texas at Austin University of S ………………………………

原文地址：访问原文地址
快照地址：访问文章快照
总结与预览地址：访问总结与预览

分享到微博

推荐文章

爱可可-爱生活 · [CL]《Does your LLM truly unlearn-20241118053823

昨天

智先生 · 裁员了，很严重，大家做好准备吧！

2 天前

智先生 · 裁员了，很严重，大家做好准备吧！

2 天前

爱可可-爱生活 · 恭喜@夏日圆周等3名用户获得【《MySQL必知必会（第2版）》-20241115120418

4 天前

爱可可-爱生活 · 本文证明了在 LLP 和 MIL 场景下提升算法的局限性，并针对-20241113054331

6 天前

爱可可-爱生活 · 【lumen：一款AI驱动的命令行工具，帮你自动生成Git提交信-20241112141051

1 周前

字节跳动技术团队 · ACL 2024邀请函丨字节跳动多篇论文中选Oral，邀你共话技术前沿趋势！

3 月前