ICML 2024 || qGOFT: 基于Givens旋转的正交微调

文章预览

基本信息和摘要 题目 Parameter Efficient Quasi-Orthogonal Fine-Tuning via Givens Rotation Arxiv : https://arxiv.org/pdf/2404.04316 作者 Xinyu Ma, Xu Chu, Zhibang Yang, Yang Lin, Xin Gao, Junfeng Zhao 研究单位 北京大学 拟解决问题 作者提出qGOFT方法，旨在提高参数效率并增强模型对下游任务的适应性。 参数效率问题 ：OFT方法的参数量随模型维度的增加而呈平方级增长（ ），这在处理高维模型时会导致参数效率低下。 适应能力问题 ：OFT在适应下游任务时对语义变化的适应能力有限，无法有效捕捉预训练模型与下游任务之间的细微语义差异。 关于OFT详细介绍，请见以下推文 NeurIPS 2023 || OFT: 正交微调方法 摘要 随着预训练模型性能的日益强大和规模的不断扩大，促进微调过程中的参数效率成为适应各种下游任务的关键需求。本文提出了一种新颖的微调方法—— 准Givens正交微调（qGOFT） ， ………………………………