超高清图像生成新SOTA！清华唐杰教授团队提出Inf-DiT：4096图像比UNet节省5倍内存。

文章预览

清华大学唐杰教授团队最近在生成超高清图像方面的新工作：Inf-DiT，通过提出一种单向块注意力机制，能够在推理过程中自适应调整内存开销并处理全局依赖关系。基于此模块，该模型采用了 DiT 结构进行上采样，并开发了一种能够上采样各种形状和分辨率的无限超分辨率模型。与常用的 UNet 结构相比，Inf-DiT 在生成 4096×4096 图像时可以节省超过 5 倍的内存。该模型在机器和人类评估中均实现了生成超高清图像的SOTA。 选取基于SDXL的超高分辨率上采样Inf-Dit, Dall-e 3和真实图像示例. 相关链接 项目网址: https://github.com/THUDM/Inf-DiT 论文地址：https://arxiv.org/abs/2405.04312 论文阅读 摘要 近年来，扩散模型在图像生成方面表现出色。然而，由于生成超高分辨率图像（例如 4096 × 4096）时内存的二次方增加，生成的图像的分辨率通常限制为 1024 × 1024。 在这项 ………………………………