MimicBrush:模仿参考图像的zero-shot图像编辑(AnyDoor升级版）

文章预览

论文题目 Zero-shot Image Editing with Reference Imitation 1、简介 考虑到用户的不同需求，图像编辑是一项实用但具有挑战性的任务，其中最困难的部分之一是准确描述编辑后的图像应该是什么样子。在这项工作中提出了一种新的编辑形式，称为模仿编辑，以帮助用户更方便地锻炼他们的创造力。 具体来说，要编辑感兴趣的图像区域，用户可以自由地直接从一些参考文献(例如，一些在网上遇到的相关图片)中获取灵感，而不必处理参考文献与源之间的匹配问题。 这样的设计要求系统自动找出从引用中期望得到什么来执行编辑。 为此，提出了一个生成式训练框架，称为MimicBrush，它从视频剪辑中随机选择两帧，屏蔽一帧的某些区域，并学习使用来自另一帧的信息来恢复被屏蔽的区域。 模型从扩散先验发展而来，能够以自监督的方式捕获独立图像之间的语义对 ………………………………