上交联合谷歌提出UniCon： 可以在一个模型中针对目标图像条件对实现多样化的生成行为

文章预览

UniCon 支持在一个模型中针对目标类型的图像和条件实现多样化的生成行为。 UniCon 还提供灵活的条件生成能力，自然支持自由格式输入和多种模型的无缝集成。 SJTU, Google 亮点 • UniCon 针对特定的图像条件对采用预训练的图像扩散模型，并带有极少的附加参数（约 15%）。 • UniCon 通过灵活的推理时间采样计划在一个模型中实现多种生成行为。 • UniCon 可以针对密集排列或松散相关条件进行训练。 • 多个 UniCon 模型可以组合起来，实现多信号条件生成。 相关链接 论文地址：http://arxiv.org/abs/2410.11439v1 项目主页：https://lixirui142.github.io/unicon-diffusion/ 论文阅读 摘要 图像生成领域的最新进展引发了通过条件信号控制这些模型的研究，各种方法都解决了条件生成中的特定挑战。我们没有提出另一种专门的技术，而是引入了一个简单、统一的框架来处理涉及 ………………………………