训练扩散模型比你想象的更简单！谢赛宁老师：Representation matters！

文章预览

作者丨科技猛兽 编辑丨极市平台 极市导读   表征的对齐真的很重要！之前我们训练扩散模型的路可能是错误的。 本文目录 1 Representation Alignment：扩散模型与自监督方法的表征 "对齐" (来自 KAIST，Korea University，Scaled Foundations，New York University) 1 REPA 论文解读 1.1 REPA 研究背景 1.2 DDPM 和 Flow-based Model 简介 1.3 本文观点总结 1.4 REPA 的三点观察 太长不看版 训练扩散模型可能比你想象的更简单。 纽约大学谢赛宁老师团队最近的工作提出： 当我们训练扩散模型时，把 扩散模型与自监督方法的表征"对齐" (Representation Alignment) ，使得扩散模型的训练比你想象的还简单。 因为最近有些研究表明：扩散模型中包含的 (生成式) 去噪过程，可以诱导得到一些 (判别式) 的特征。虽然这些判别式的表征的质量落后于自监督学习 (DINO v2) 得到的表征。 图1：在生成模型和表 ………………………………