ICML 2024 | 超越LoRA！港科大提出FourierFT：新型傅立叶微调！训练参数大幅减少

文章预览

点击下方 卡片 ，关注“ CVer ”公众号 AI/CV重磅干货，第一时间送达 点击进入—> 【Mamba/扩散/多模态】交流群 添加微信：CVer5555，小助手会拉你进群！ 扫描下方二维码，加入CVer学术星球 ！ 可以获得最新顶会/顶刊上的论文idea 和 CV从入门到精通资料，及最前沿应用 ！发论文/搞科研/涨薪，强烈推荐！ 本文介绍了 香港科技大学（广州） 的一篇关于大模型高效微调（LLM PEFT Fine-tuning） 的文章「Parameter-Efficient Fine-Tuning with Discrete Fourier Transform」， 本文被 ICML 2024 接收，代码已开源。 论文地址：https://arxiv.org/abs/2405.03003 项目地址：https://github.com/Chaos96/fourierft 背景 大型基座模型在自然语言处理（NLP）和计算机视觉（CV）领域都获得了瞩目的成就。微调（Finetuning）大型基座模型，使其更加适应特殊的下游任务，成为了一项热门研究课题。然而，在模型越来 ………………………………