效果超越ControlNet+IP-Adapter和FreeControl！Ctrl-X：可控文生图新框架（加州大学&英伟达）

文章预览

点击下方 卡片 ，关注“ AIGC Studio ”      文章链接：https://arxiv.org/pdf/2406.07540 项目链接：https://genforce.github.io/ctrl-x/ 最近的可控生成方法，如FreeControl和Diffusion Self-guidance，为文本到图像（T2I）扩散模型带来了细粒度的空间和外观控制，而无需训练辅助模块。然而，这些方法针对每种类型的评分函数优化潜在embedding，并采用较长的扩散步骤，使生成过程耗时且限制了它们的灵活性和使用。 本文提出了Ctrl-X，这是一个简单的T2I扩散控制结构和外观的框架，无需额外的训练或引导。Ctrl-X设计了前馈结构控制，以实现与结构图像的结构对齐，并进行语义的外观迁移，以促进从用户输入图像进行外观迁移。 广泛的定性和定量实验说明了 Ctrl-X 在各种条件输入和模型 checkpoints 上的卓越性能。特别是，Ctrl-X支持任何形式的条件图像的新型结构和外观控制， ………………………………