NeurIPS 2024 Oral | 小参数，大作为！揭秘非对称 LoRA 架构的高效性能

文章预览

前言   LoRA 在面对复杂数据集时，总是难以与全参数微调的表现相媲美，尤其当任务之间充满多样性时，效果更是大打折扣。 为了突破这一瓶颈，来自澳门大学、德克萨斯大学奥斯汀分校以及剑桥大学的研究者联合提出了一种全新的 非对称 LoRA 架构 —— HydraLoRA。 与传统 LoRA 需要对所有任务使用相同的参数结构不同，HydraLoRA 引入了共享的 A 矩阵和多个独立的 B 矩阵 ，分别处理不同的任务，从而避免任务间的干扰。 Pytorch训练营，花两个星期彻底掌握代码实现 CV各大方向专栏与各个部署框架最全教程整理 CV全栈指导班、基础入门班、论文指导班 全面上线!! 来源： 机器之心 仅用于学术分享，若侵权请联系删除 大型语言模型（LLMs）虽然在适应新任务方面取得了长足进步，但它们仍面临着巨大的计算资源消耗，尤其在复杂领域的表现往往不尽如人意 ………………………………