ICML 2024 | 论扩散模型采样轨迹的规律性及快速采样算法

文章预览

扩散式生成模型近年来在理论与应用方面均取得了巨大的进展。随机微分方程及其数值方法的引入使得我们能够对扩散模型在连续时间中分析，离散步数中采样；概率流常微分方程及其数值方法的广泛使用则是使得扩散模型的少步数快速采样成为可能。 本文进一步揭示了 扩散模型采样轨迹蕴含的规律性 ，即，高维空间中的采样轨迹总是呈现出 低维的回旋镖结构 。该采样轨迹可以由 一个方向向量及其正交补空间中的两个主成分 有效表达。该现象与采样轨迹的初始噪声、合成内容均无关，且可以借助于变尺度核密度估计进行理论分析。 本文刻画的几何图像既能 有效解释 多种在实际中取得成功的启发式策略，又能 从原理上导出 简单、几乎无代价的步长规划策略，从而进一步增强扩散模型在少步数情况下的采样质量。 论文标题： On the Trajectory Regul ………………………………