ICML 2024 | 新型傅立叶微调来了！脱离LoRA架构，训练参数大幅减少

文章预览

©作者 |  机器之心编辑部 来源 |  机器之心 本文介绍了 香港科技大学（广州） 的一篇关于大模型高效微调（LLM PEFT Fine-tuning） 的文章「Parameter-Efficient Fine-Tuning with Discrete Fourier Transform」， 本文被 ICML 2024 接收，代码已开源。 论文标题： Parameter-Efficient Fine-Tuning with Discrete Fourier Transform 论文链接： https://arxiv.org/abs/2405.03003 项目链接： https://github.com/Chaos96/fourierft 背景 大型基座模型在自然语言处理（NLP）和计算机视觉（CV）领域都获得了瞩目的成就。微调（Finetuning）大型基座模型，使其更加适应特殊的下游任务，成为了一项热门研究课题。然而，在模型越来越大，下游任务越来越多样的今天，微调整个模型带来的计算、存储消耗已大到不再能被接受。 LoRA 采用低秩拟合微调增量的方案，成功降低了大量的此类消耗，但每个适应器（adapter）的大小仍 ………………………………