改进的Consistency Models训练技术

文章预览

改进的Consistency Models训练技术 1. 基本信息 题目:Improved Techniques for Training Consistency Models 作者:Yang Song, Prafulla Dhariwal 机构:OpenAI 2. 主要内容 Consistency Models是一类新兴的生成模型,可以在一次采样中生成高质量的数据,而不需要对抗训练。当前的Consistency Models通过从预训练的扩散模型中Distil知识和采用学习指标(如LPIPS)来得到最佳的样本质量。 但是,Distil限制了Consistency Models的质量 不能超过预训练的扩散模型 ,而LPIPS会导致评估上的不利偏差。为了解决这些挑战,本文提出了改进的一致性训练技术,其中Consistency Models可以直接从数据中学习,而不需要Distil。 作者深入探讨了一致性训练背后的理论,并识别出一个以前被忽略的缺陷, 作者通过消除教师一致性模型中的指数移动平均来解决这个问题 。为了替代LPIPS等学习指标,作者采用稳健统计学中的伪Huber损失。 此外 ………………………………