ECCV24 ｜ ControlNet+⁣+: 通过高效一致性反馈改进条件控制

文章预览

摘要 为了增强文本到图像扩散模型的可控性，现有方法（如 ControlNet）引入了基于图像的条件控制。 在本文中，我们发现现有方法在生成与图像条件控制一致的图像方面仍然面临着重大挑战。 为此，我们提出了 ControlNet++，一种通过明确优化生成图像和条件控制之间的像素级循环一致性来改进可控生成的新方法。 具体来说，对于输入的条件控制，我们使用预训练的判别性奖励模型来提取生成的图像的对应条件，然后优化输入条件控制和提取的条件之间的一致性损失。 一种直接的实现方法是从随机噪声生成图像，然后计算一致性损失，但这种方法需要存储多个采样时间步的梯度，导致相当大的时间和内存成本。 为了解决这个问题，我们引入了一种高效的奖励策略，该策略通过添加噪声来故意扰乱输入图像，然后使用单步去噪图像进行奖励微调 ………………………………