ICML 2024 | 超越LoRA！港科大提出FourierFT：新型傅立叶微调！训练参数大幅减少

文章预览

前言   本文介绍了 香港科技大学（广州） 的一篇关于大模型高效微调（LLM PEFT Fine-tuning） 的文章「Parameter-Efficient Fine-Tuning with Discrete Fourier Transform」， 本文被 ICML 2024 接收，代码已开源。 Pytorch训练营，花两个星期彻底掌握代码实现 CV各大方向专栏与各个部署框架最全教程整理 CV全栈指导班、基础入门班、论文指导班 全面上线!! 来源： CVer 仅用于学术分享，若侵权请联系删除 论文地址：https://arxiv.org/abs/2405.03003 项目地址：https://github.com/Chaos96/fourierft 背景 大型基座模型在自然语言处理（NLP）和计算机视觉（CV）领域都获得了瞩目的成就。微调（Finetuning）大型基座模型，使其更加适应特殊的下游任务，成为了一项热门研究课题。然而，在模型越来越大，下游任务越来越多样的今天，微调整个模型带来的计算、存储消耗已大到不再能被接受。 LoRA   ………………………………