超越ControlNet++！腾讯优图提出动态条件选择新架构DynamicControl

文章预览

为了增强文本到图像生成模型的可控性，当前的 ControlNet 类模型已经探索了各种控制信号来指示图像属性。然而，现有的方法要么处理条件效率低下，要么使用固定数量的条件，这不能完全解决多种条件的复杂性及其潜在冲突。这也强调了需要创新方法来有效地管理多种条件，以实现更可靠和更详细的图像合成。 为了解决这个问题，本文提出了一个新颖的框架，它支持各种控制信号的动态组合，允许自适应地选择不同数量和类型的条件。我们的方法从双循环控制器开始，该控制器利用预先训练的条件生成模型和判别模型为所有输入条件生成初始真实分数排序。该控制器评估提取条件与输入条件之间的相似性，以及与源图像的像素级相似性。 然后，我们集成了多模态大型语言模型 (MLLM) 来构建高效的条件评估器。该评估器根据双循环控制器的分数排 ………………………………