ClassDiffusion: 使用显式类别引导的一致性个性化生成

文章预览

关注公众号，发现CV技术之美 本篇分享论文 ClassDiffusion: More Aligned Personalization Tuning with Explicit Class Guidance ，由北交 & 字节联合提出 ClassDiffusion: 使用显式类别引导的一致性个性化生成。 详细信息如下： 文章主页: https://classdiffusion.github.io/ 论文地址: https://arxiv.org/abs/2405.17532v1 代码地址: https://github.com/Rbrq03/ClassDiffusion 研究背景 个性化生成领域最近取得了飞速的发展, 但微调引入的过拟合导致模型无法生成与提示词一致的结果, 本文通过两个重要观察及理论分析提出了新的观点:一致性的损失是个性化概念语义偏移导致的, 并据此提出了一个简单有效的方法ClassDiffusion来提升个性化生成的一致性。文章还引入了BLIP2-T 来为个性化生成领域提供更公平有效的指标。 实验观察 文章对之前方法微调后的模型进行了两个观测: 对文本空间进行观测, 发现个性化概念 ………………………………