超分辨图像无限生成！清华甩出Inf-DiT：Diffusion Transformer 任意分辨率上采样

文章预览

前言   综合实验表明，Inf-DiT 在生成超高分辨率图像方面取得了 SOTA 性能。与常用的 UNet 结构相比，Inf-DiT 在生成 4096×4096 图像时可以节省超过5倍显存。 Pytorch训练营，花两个星期彻底掌握代码实现 CV各大方向专栏与各个部署框架最全教程整理 CV全栈指导班、基础入门班、论文指导班 全面上线!! 本文目录 1 Inf-DiT：Diffusion Transformer 任意分辨率上采样 (来自清华大学，唐杰团队) 1 Inf-DiT 论文解读 1.1 超高分辨率图像生成问题的挑战：GPU 显存需求 1.2 单向块注意力机制 1.3 O(N) 显存消耗的推理过程 1.4 Inf-DiT 架构 1.5 全局和局部一致性 1.6 实验结果 太长不看版 扩散模型在图像生成方面表现出了很显著的性能。然而对于生成超高分辨率的图像 (比如 4096 ×4096) 而言，由于其 Memory 也会二次方增加，因此生成的图像的分辨率通常限制在 1024×1024。在这项工作中。作 ………………………………