超分辨图像无限生成！清华Inf-DiT：任意分辨率上采样

文章预览

作者 | 科技猛兽  编辑 | 极市平台 点击下方 卡片 ，关注“ 自动驾驶之心 ”公众号 戳我-> 领取 自动驾驶近15个 方向 学习 路线 >> 点击进入→ 自动驾驶之心 『 扩散模型 』 技术交流群 本文只做学术分享，如有侵权，联系删文 导读   综合实验表明，Inf-DiT 在生成超高分辨率图像方面取得了 SOTA 性能。与常用的 UNet 结构相比，Inf-DiT 在生成 4096×4096 图像时可以节省超过5倍显存。 本文目录 1 Inf-DiT：Diffusion Transformer 任意分辨率上采样 (来自清华大学，唐杰团队) 1 Inf-DiT 论文解读 1.1 超高分辨率图像生成问题的挑战：GPU 显存需求 1.2 单向块注意力机制 1.3 O(N) 显存消耗的推理过程 1.4 Inf-DiT 架构 1.5 全局和局部一致性 1.6 实验结果 太长不看版 扩散模型在图像生成方面表现出了很显著的性能。然而对于生成超高分辨率的图像 (比如 4096 ×4096) 而言，由于其 Mem ………………………………