Diffusion on Diffusion：新型多阶段高质量图像生成框架

主要观点总结

论文《Diffusion Models Need Visual Priors for Image Generation》介绍了一种新型的多阶段图像生成框架——Diffusion on Diffusion (DoD)。该框架旨在通过利用先前生成的样本的视觉先验信息，增强扩散模型在图像生成过程中的性能。文章详细描述了DoD框架的工作原理、技术特点以及实验结果。

关键观点总结

关键观点1: DoD框架通过潜在嵌入模块（LEM）提取语义信息，利用压缩重构方法丢弃冗余细节，仅保留关键语义信息来指导生成过程。

LEM在条件样本中提取关键语义信息，提高了图像的纹理和对象级几何细节。

关键观点2: DoD框架采用多阶段扩散采样，每个阶段都是完整的扩散采样过程，利用前一阶段生成的图像作为视觉先验来指导进一步的图像合成。

这一机制为扩散采样的早期阶段提供了丰富的语义视觉指导，促进了更高质量图像的生成。

关键观点3: DoD框架在ImageNet-256×256数据集上进行了评估，与现有类引导扩散模型相比，减少了训练成本，实现了更低的Fréchet Inception Distance（FID）得分，显示出卓越的性能。

此外，DoD框架在参数效率和采样效率方面也表现出色，即使在较小的模型尺寸下也能与更大的变体相媲美。

文章预览

Diffusion Models Need Visual Priors for Image Generation 论文： https://arxiv.org/abs/2410.08531v1 Diffusion on Diffusion（DoD）是一种创新的多阶段图像生成框架，旨在通过利用先前生成样本的视觉先验来增强扩散模型的生成能力。 DoD 框架通过一个潜在嵌入模块（LEM）来提取语义信息，该模块采用压缩重构的方法来丢弃条件样本中的冗余细节，仅保留关键的语义信息以指导生成过程。这一方法不仅提升了图像的纹理细节，还通过多次利用扩散模型的生成能力，提高了采样效率和生成质量。 DoD 在ImageNet-256×256数据集上进行了评估，与现有的类引导扩散模型相比，它在减少训练成本的同时，实现了更低的Fréchet Inception Distance（FID）得分，显示出卓越的性能。此外，DoD框架在参数效率和采样效率方面也表现出色，即使在较小的模型尺寸下，也能与更大的变体相媲美。 技术解读 D ………………………………