文章预览
上海人工智能实验室和哈尔滨工业大学(深圳)联合提出了AnyControl,这是一种新的文本到图像的引导方法,可以从各种控制信号(例如颜色、形状、纹理和布局)生成图像。 AnyControl 开发了一种新颖的多控制编码器,可提取统一的多模态嵌入来指导生成过程。这种方法能够全面理解用户输入,并在多种控制信号下产生高质量、忠实的结果。 下图👇为AnyControl的多控制图像合成。模型支持多个控制信号的自由组合,并生成与每个输入良好对齐的和谐结果。 相关链接 项目地址:any-control.github.io 论文地址:arxiv.org/abs/2406.18958 Demo: huggingface.co/spaces/nowsyn/AnyControl 论文阅读 AnyControl:在文本生成图像过程中通过多功能控制创作你的作品 摘要 近年来,文本到图像 (T2I) 生成领域取得了重大进展,这主要得益于扩散模型的进步。语言控制可以实现有效的内容创
………………………………