CVPR 2024 Oral｜FreeU：扩散 U-Net 模型的免费午餐

文章预览

前言 本文作者发现了扩散 U-Net 模型的一个未开发的潜力，即：一种 "免费的午餐"，可以即时地，显著地提高生成的质量。 本文目录 1 FreeU：扩散 U-Net 模型的免费午餐 (来自南洋理工大学 S-Lab) 1 FreeU 论文解读 1.1 扩散 U-Net 中的低频和高频分量 1.2 扩散 U-Net 是如何执行去噪过程的？ 1.3 扩散 U-Net 的 "免费午餐" 1.4 实验设置 1.5 文生图实验结果 1.6 文生视频实验结果 1.7 下游任务实验结果 1.8 消融实验结果 太长不看版 本文作者发现了 扩散 U-Net 模型的一个未开发的潜力 ，即：一种  "免费的午餐" ，可以即时地，显著地提高生成的质量。 作者一开始研究了 U-Net Backbone 对去噪过程的主要贡献，并确定其 Backbone 部分有利于去噪，而其 Skip connection 部分会在 Decoder 中引入高频特征，导致网络忽略掉 Backbone 语义信息。利用这一发现，作者提出了一种简单有效的 ………………………………