零样本主题驱动图像生成新方法！EZIGen：在保持灵活性的同时保留主题身份！

文章预览

今天给大家介绍一个零样本主题驱动图像生成方法EZIGen，它可以从提供的主体图像中提取出重要特征，就像是给图像做一个“身份识别”，确保生成的新图像能够保留主体的独特特征。接下来，EZIGen会根据你输入的文本提示，生成一个粗略的图像布局， 比如确定图像的大致形状和颜色。然后，它会将主体的特征逐步转移到这个布局上，就像在给图像“穿衣服”，确保主体的外观与文本提示一致。这个过程是迭代进行的，意味着如果第一次生成的效果不够好，EZIGen会继续调整图像，直到达到你满意的效果。这样的设计使得生成的图像不仅保留了主体的身份，还能很好的符合你的描述。 EZIGen 通过集成精心设计的参考 UNet 提取器和解耦指导来增强零样本主题驱动生成，在保持灵活性的同时保留主题身份。 相关链接 论文地址：http://arxiv.org/abs/2409.08091v1 ………………………………