仅微调0.02%参数，性能接近全量微调！上海交大推出高效微调统一新范式

文章预览

©作者 |  ChouJay 来源 |  量子位 QbitAI Scaling Laws 当道，但随着大模型应用的发展，基础模型不断扩大的参数也成了令开发者们头疼的问题。为了减轻训练负担，Adapter、Prompt-Tuning 以及 LoRA 等高效微调（Parameter Efficient Fine-Tuning, PEFT）算法越来越受到大家伙的青睐。  那么，问题来了—— 尽管近年来高效微调领域发展迅速，涌现了多种方法，但不同 PEFT 方法背后的数学基础几乎没有得到深入研究。 此外，不同 PEFT 方法之间的性能差异及其原因尚未系统地探讨。 这种理论深度的缺乏限制了研究者对这些方法潜在优势和局限性的理解，阻碍了它们在实际应用中的优化和创新。   为了解决这一问题，来自上海交通大学的研究者们在 对各种 PEFT 方法进行全面数学分析 后，提出了一种新的框架—— 子空间微调 ，旨在将所有已知的 PEFT 方法统一在一个理论下 ………………………………