SaRA：提升预训练扩散模型适应性和性能的新型高效参数微调方法

文章预览

SaRA: High-Efficient Diffusion Model Fine-tuning with Progressive Sparse Low-Rank Adaptation 介绍： https://sjtuplayer.github.io/projects/SaRA/ 代码： https://github.com/sjtuplayer/SaRA 论文： https://arxiv.org/abs/2409.06633 SaRA （Sparse Low-Rank Adaptation）是一种新颖的参数高效微调方法，由来自上海交大和腾讯优图实验室的研究人员联合开发。它专门为预训练扩散模型设计，以提高其在新任务上的适应性和性能。 该方法通过识别并利用预训练模型中权重绝对值最小的参数——这些通常被认为在模型生成过程中效果不明显的参数，来实现对模型的微调。SaRA 通过优化这些参数，赋予了预训练模型新的任务特定能力，同时通过低秩稀疏训练方案和渐进式参数调整策略，有效防止了过拟合现象，确保了模型在获取新知识的同时保留了原有的泛化能力。 SaRA 的显著特点是其非结构化反向传播策略，这使 ………………………………