仅微调0.02%参数，性能接近全量微调！高效微调的统一新范式

文章预览

作者 | 量子位  编辑 | 极市平台 点击下方 卡片 ，关注“ 自动驾驶Daily ”公众号 戳我->  领取近15个自动驾驶方向路线 >> 点击进入→ 自动驾驶Daily技术交流群 本文只做学术分享，如有侵权，联系删文 ，自动驾驶课程学习与技术交流群事宜，也欢迎添加小助理微信AIDriver004做进一步咨询 导读   来自上海交通大学的研究者们在对各种PEFT方法进行全面数学分析后，提出了一种新的框架——子空间微调，旨在将所有已知的PEFT方法统一在一个理论下。 Scaling Laws当道，但随着大模型应用的发展，基础模型不断扩大的参数也成了令开发者们头疼的问题。 为了减轻训练负担，Adapter、Prompt-Tuning以及LoRA等高效微调（Parameter Efficient Fine-Tuning, PEFT）算法越来越受到大家伙的青睐。 那么，问题来了—— 尽管近年来高效微调领域发展迅速，涌现了多种方法，但不同PEF ………………………………