北交&字节联合提出ClassDiffusion: 使用显式类别引导的一致性个性化生成。

文章预览

在个性化生成领域, 微调可能会引起过拟合导致模型无法生成与提示词一致的结果。针对这个问题，北交 & 字节联合提出ClassDiffusion，来提升个性化生成的一致性。 通过两个重要观察及理论分析提出了新的观点:一致性的损失是个性化概念语义偏移导致的, 还引入了BLIP2-T 来为个性化生成领域提供更公平有效的指标。 下图为 一只狗和太阳镜的故事，展示了一只狗是如何获得诺贝尔文学奖的，以及一副太阳镜的命运。可以看出个性化生成的一致性还是非常高的。 相关链接 项目主页: https://classdiffusion.github.io/ 论文地址: https://arxiv.org/abs/2405.17532v1 代码地址: https://github.com/Rbrq03/ClassDiffusion 论文阅读 ClassDiffusion:使用明确的类指导进行更一致的个性化调优 摘要 最近的文本到图像定制工作已被证明能够成功生成给定概念的图像，方法是通过对一些示例微调扩散 ………………………………