扩散模型微调:Custom Diffusion(CVPR2023)

文章预览

论文题目 Multi-Concept Customization of Text-to-Image Diffusion 摘要 当生成模型生成从大规模数据库中学习的概念的高质量图像时，用户通常希望合成他们自己的概念的实例(例如，他们的家庭，宠物或物品)。我们能教一个模型快速掌握一个新概念吗，给出几个例子?此外，我们能否将多个新概念组合在一起?我们提出自定义扩散，一种有效的方法来增强现有的文本到图像模型。我们发现仅优化文本到图像调节机制中的几个参数就足以强大地表示新概念，同时实现快速调优(~ 6分钟)。此外，我们可以对多个概念进行联合训练，或者通过封闭式约束优化将多个微调模型组合成一个模型。我们的微调模型生成多个新概念的变体，并在新的设置中将它们与现有概念无缝地组合在一起。我们的方法在内存和计算效率高的同时，在定性和定量评估中优于或执行与几个基线和 ………………………………