黄金噪声学习框架：提升文本到图像扩散模型合成质量的新方法

文章预览

Golden Noise for Diffusion Models: A Learning Framework 论文： https://arxiv.org/abs/2411.09502 “Golden Noise for Diffusion Models” 是一种创新的学习框架，旨在提升文本到图像扩散模型的图像合成质量。 研究者们通过引入“噪声提示”这一新概念，将随机高斯噪声转化为能够生成更高质量图像的“黄金噪声”。这一过程通过构建一个大规模的噪声提示数据集（NPD）和训练一个小型的噪声提示网络（NPNet）实现，NPNet能够直接将随机噪声转换为富含语义信息的黄金噪声，从而显著提高合成图像的整体质量和美学风格。 该研究的突出特点在于其泛化能力和高效性。NPNet作为一个即插即用的模块，能够广泛应用于不同的扩散模型，并且在推理时只增加了极小的额外计算成本。实验结果表明，NPNet不仅提升了图像合成的视觉质量，而且在多个评估指标上都显示出显著的性能提升， ………………………………