仅微调0.02%参数，性能接近全量微调！上交大推出高效微调统一新范式

文章预览

↑ 点击 蓝字  关注极市平台 作者丨 量子位 来源丨量子位 编辑丨极市平台 极市导读   来自上海交通大学的研究者们在对各种PEFT方法进行全面数学分析后，提出了一种新的框架——子空间微调，旨在将所有已知的PEFT方法统一在一个理论下。   >> 加入极市CV技术交流群，走在计算机视觉的最前沿 Scaling Laws当道，但随着大模型应用的发展，基础模型不断扩大的参数也成了令开发者们头疼的问题。 为了减轻训练负担，Adapter、Prompt-Tuning以及LoRA等高效微调（Parameter Efficient Fine-Tuning, PEFT）算法越来越受到大家伙的青睐。 那么，问题来了—— 尽管近年来高效微调领域发展迅速，涌现了多种方法，但不同PEFT方法背后的数学基础几乎没有得到深入研究。 此外，不同PEFT方法之间的性能差异及其原因尚未系统地探讨。这种理论深度的缺乏限制了研究者对这些方 ………………………………