CycleGAN遇到Diffusion能擦出什么火花？

文章预览

在Diffusion模型之前，生成模型主要还是基于GAN，而CycleGAN和Pix2Pix则是基于GAN来进行风格迁移的非常有代表性的工作，那么，现如今Diffusion模型大火，当CycleGAN遇到Diffusion会碰撞出什么火花呢？ CMU朱俊彦团队提出CycleGAN-Turbo与Pix2Pix-Turbo，通过对抗性学习将单步扩散模型如SD-Turbo适应新任务和领域。能利用预训练扩散模型的内部知识，同时实现高效推理如512x512图像的推理时间为0.3秒。单步图像到图像转换模型，称为 CycleGAN-Turbo 和 pix2pix-Turbo，可以在各种任务上分别针对非配对（顶部）和配对设置（底部）合成真实的输出。 相关链接 论文地址：https://arxiv.org/abs/2403.12036 项目地址：https://github.com/GaParmar/img2img-turbo 论文阅读 一步图像翻译与Text-to-Image模型 摘要 在这项工作中，我们解决了现有条件扩散模型的两个局限性：由于迭代去噪过程导致的推理速度慢 ………………………………