FouRA：傅里叶域中的创新低秩方法提升文本到图像生成多样性 !

文章预览

尽管低秩适应（LoRA）已被证明能有效地微调大型模型，但经过LoRA微调的文本到图像扩散模型在生成的图像中缺乏多样性，因为模型倾向于复制观察到的训练样本中的数据。 这种效应在 Adapter 强度值较高以及在高秩 Adapter 微调较小数据集时变得更加明显。为了解决这些挑战，作者提出了 FouRA，这是一种新颖的低秩方法，它在傅里叶域中学习投影，并学习一种灵活的输入相关 Adapter 秩选择策略。 通过大量的实验和分析，作者展示了 FouRA 成功解决了与数据复制和分布崩溃相关的问题，同时显著提高了生成的图像质量。作者证明，由于 FouRA 的自适应秩选择，它增强了微调模型的泛化能力。 作者还展示了在频率域学习的投影是去相关的，并且在合并多个 Adapter 时证明是有效的。虽然 FouRA 是为视觉任务而启发的，但作者还在 GLUE 基准上展示了它在语言任 ………………………………