MimicBrush：奇迹画刷，重新定义局部重绘

文章预览

01 引言 图像编辑是一项实用而又具有挑战性的任务，因为用户的需求多种多样，其中最困难的部分之一是准确描述编辑后的图像应该是什么样子。在MimicBrush这项工作中，提出了一种新的编辑形式，称为模仿编辑，以帮助用户更方便地发挥创造力。具体来说，为了编辑感兴趣的图像区域，用户可以自由地直接从一些自然参考（例如，一些在线遇到的相关图片）中汲取灵感，而不必处理参考和源之间的契合。这样的设计要求系统自动找出对参考的期望以执行编辑。为此，提出了一个生成训练框架，称为 MimicBrush，它从视频剪辑中随机选择两帧，屏蔽一帧的某些区域，并学习使用另一帧的信息恢复被屏蔽的区域。这样，模型（从扩散先验发展而来）能够以自监督的方式捕捉单独图像之间的语义对应关系。项目组通过实验证明了我们的方法在各种测试用例 ………………………………