主要观点总结
本文提出了SaRA，一种高效的参数微调方法，用于充分利用预训练模型中的无效参数。通过参数重要性分析、稀疏低秩训练、渐进式参数调整策略和非结构化反向传播策略，SaRA能够在多个下游任务上实现优秀的模型微调效果。实验结果表明，SaRA能够提升基础模型在原始任务的生成能力，并在下游任务中兼顾下游任务的学习以及预训练先验的维护。
关键观点总结
关键观点1: 引言
介绍了SaRA的背景、目的和方法，强调了其对预训练扩散模型的高效微调能力。
关键观点2: 参数重要性分析
通过对预训练模型中的参数重要性进行分析，发现了预训练扩散模型中绝对值最小的10%至20%的参数在生成过程中的作用微乎其微。这些参数的无效性并非模型固有属性，而是由于训练过程中的不稳定性导致。
关键观点3: 稀疏低秩训练
基于参数重要性分析的发现，SaRA提出利用这些暂时无效的参数，通过优化稀疏权重矩阵来学习特定任务的知识。为了避免过拟合，SaRA采用了基于核范数的低秩稀疏训练方案。
关键观点4: 渐进式参数调整策略
SaRA设计了一种参数重调整策略，通过在微调过程中重定向可训练参数，确保几乎所有参数都能有效地贡献于新任务的学习。
关键观点5: 非结构化反向传播策略
SaRA提出了一种新颖的反向传播策略，显著降低了微调过程中的内存成本，使其在实际应用中更加高效。
关键观点6: 实验验证
SaRA在多个下游任务上进行了广泛的实验验证，包括基模型能力提升、下游数据微调、图像定制化、可控视频生成等。实验结果表明SaRA能够提升基础模型在原始任务的生成能力，并在下游任务中兼顾下游任务的学习以及预训练先验的维护。
关键观点7: 计算资源比较和分析
通过比较SaRA与其他微调方法的计算资源和训练参数，实验证明了SaRA在显存开销、训练时间、学习新知识和保留先验知识方面的优势。
文章预览
文章链接：https://arxiv.org/pdf/2409.06633 项目链接：https://sjtuplayer.github.io/projects/SaRA/ 1.引言 SaRA 是一种针对预训练扩散模型的高效微调方法。通过微调预训练扩散模型中的无效参数，赋予模型对下游任务的处理能力。SaRA能够显著节省计算显存开销与代码复杂度，仅修改一行训练代码即可实现微调过程。该方法的核心创新在于： 参数重要性分析 ：SaRA首先对预训练模型中的参数重要性进行分析，发现预训练扩散模型中绝对值最小的10%至20%的参数在生成过程中的作用微乎其微。并且这些参数的无效性并非模型固有属性，而是由于训练过程中的不稳定性导致。 稀疏低秩训练 ：基于上述发现，SaRA提出利用这些暂时无效的参数，通过优化稀疏权重矩阵来学习特定任务的知识。为了避免过拟合，SaRA采用了基于核范数的低秩稀疏训练方案，有效约束了学习过程中
………………………………
