ClassDiffusion: 使用显式类别引导的一致性个性化生成

文章预览

↑ 点击 蓝字  关注极市平台 作者丨黄键楠 编辑丨极市平台 极市导读   本文通过两个重要观察及理论分析提出了新的观点:一致性的损失是个性化概念语义偏移导致的, 并据此提出了一个简单有效的方法ClassDiffusion来提升个性化生成的一致性。   >> 加入极市CV技术交流群，走在计算机视觉的最前沿 文章主页: https://classdiffusion.github.io/ 论文地址: https://arxiv.org/abs/2405.17532v1 代码地址: https://github.com/Rbrq03/ClassDiffusion 一. 研究背景 个性化生成领域最近取得了飞速的发展, 但微调引入的过拟合导致模型无法生成与提示词一致的结果, 本文通过两个重要观察及理论分析提出了新的观点:一致性的损失是个性化概念语义偏移导致的, 并据此提出了一个简单有效的方法ClassDiffusion来提升个性化生成的一致性。文章还引入了BLIP2-T 来为个性化生成领域提供更公平有效的 ………………………………