专栏名称: PaperWeekly

PaperWeekly是一个推荐、解读、讨论和报道人工智能前沿论文成果的学术平台，致力于让国内外优秀科研工作得到更为广泛的传播和认可。社区：http://paperweek.ly | 微博：@PaperWeekly

我也要提交微信公众号

今天看啥

公众号rss, 微信rss, 微信公众号rss订阅, 稳定的RSS源

微博RSS订阅方法

即刻RSS订阅方法

对齐全量微调！这是我看过最精彩的LoRA改进

PaperWeekly · 公众号 · 科研 · 2024-07-31 22:32

主要观点总结

本文介绍了对齐全量微调的工作LoRA-Pro，它与之前的LoRA-GA互补，通过修改优化器的更新规则使得LoRA的每一步更新都尽量与全量微调对齐。文章还包含了实验结果的展示和关于初始化的讨论。

LoRA-Pro通过对优化器的更新规则进行修改，使得LoRA的每一步更新都尽量与全量微调对齐。它通过对全量微调的梯度进行近似，然后用于Adam优化器的更新方向。

LoRA-Pro在GLUE上的实验结果超过了全量微调的结果。

LoRA-Pro的初始化采用了符合直觉的正交初始化，即让初始的A,B是单位阵（的若干倍）。之前的工作LoRA-GA给出的初始化也是正交初始化。

免责声明：本文内容摘要由平台算法生成，仅为信息导航参考，不代表原文立场或观点。原文内容版权归原作者所有，如您为原作者并希望删除该摘要或链接，请通过【版权申诉通道】联系我们处理。

原文地址：访问原文地址
总结与预览地址：访问总结与预览
推荐产品: 推荐产品
文章地址：访问文章快照

分享到微博

推荐文章

研之成理 · 清华大学化学系张昊课题组招聘博士后

昨天

研之成理 · 中科院全重室副主任方煜团队CCS Chemistry：基于吩噻嗪基元构建的新拓扑给-受体型有机框架实现光化学氧化还原性质翻转

昨天

募格学术 · 两天速通SCI！AI驱动下的SCI写作实战指南

昨天

社会学理论大缸 · 周五公开讲座丨如何学好、用好理论框架？6个方法一通百通！

昨天

实验万事屋 · 课题陷入了瓶颈？想要优化课题设计？课题无人指导很迷茫？夏老师课题指导暑假火热来袭！为你的科研保驾护航.......

2 天前

跨境派 · 一个订单高达1600万，义乌大卖跻身品类头部

11 月前

孙立平社会观察 · 孙立平：用两张图，来重新说说经济预测的问题

10 月前

Kindle电子书库 · 这个女人太惨了，为男友复仇，却没想到……

10 月前

旅思马记 · 国土空间规划确定“三区三线”技术路线

7 月前

阜阳新闻网 · 事关每个人！阜阳消防最新发布

5 月前