NeurIPS 2024 Oral｜小参数，大作为！揭秘非对称 LoRA 架构的高效性能

文章预览

↑ 点击 蓝字  关注极市平台 作者丨 机器之心 来源丨机器之心 编辑丨极市平台 极市导读   HydraLoRA 引入了一种非对称的参数微调架构，能够有效识别并适应数据中的 “内在组件”—— 即子领域或不同任务。   >> 加入极市CV技术交流群，走在计算机视觉的最前沿 这篇论文刚刚中稿 NeurIPS Oral（64/15671 =0.4%），作者分别来自澳门大学、德克萨斯大学奥斯汀分校以及剑桥大学。其中，第一作者田春霖是澳门大学计算机系的三年级博士生，研究方向涉及 MLSys 和高效大语言模型。师从栗力、须成忠教授。 大型语言模型（LLMs）虽然在适应新任务方面取得了长足进步，但它们仍面临着巨大的计算资源消耗，尤其在复杂领域的表现往往不尽如人意。为了缓解这一问题，业界提出了多种参数高效微调（PEFT）方法，例如 LoRA。然而，LoRA 在面对复杂数据集时，总是 ………………………………