训练扩散模型比你想象的更简单！谢赛宁老师：Representation matters！

文章预览

作者丨科技猛兽 编辑丨极市平台 本文目录 1 Representation Alignment：扩散模型与自监督方法的表征 "对齐" (来自 KAIST，Korea University，Scaled Foundations，New York University) 1 REPA 论文解读 1.1 REPA 研究背景 1.2 DDPM 和 Flow-based Model 简介 1.3 本文观点总结 1.4 REPA 的三点观察 太长不看版 训练扩散模型可能比你想象的更简单。 纽约大学谢赛宁老师团队最近的工作提出： 当我们训练扩散模型时，把 扩散模型与自监督方法的表征"对齐" (Representation Alignment) ，使得扩散模型的训练比你想象的还简单。 因为最近有些研究表明：扩散模型中包含的 (生成式) 去噪过程，可以诱导得到一些 (判别式) 的特征。虽然这些判别式的表征的质量落后于自监督学习 (DINO v2) 得到的表征。 图1：在生成模型和表征学习之间，还有很多东西有待发掘 (图源谢赛宁老师 Twitter) 作者认为：扩散模型 ………………………………