LinFusion：1 块 GPU，1 分钟生成 16K 高清大图

文章预览

↑ 点击 蓝字  关注极市平台 作者丨科技猛兽 编辑丨极市平台 极市导读   使用知识蒸馏策略，只训练线性注意模块 50K 步，LinFusion 的性能即可与原始 SD 相当甚至更好，同时显著降低了时间和显存占用的复杂度。同时，它还可以实现令人满意的交叉分辨率生成性能，并且可以单卡生成 16K 分辨率的高清大图。   >> 加入极市CV技术交流群，走在计算机视觉的最前沿 本文目录 1 1 块 GPU，1 分钟生成 16K 高清大图 (来自 NUS) 1 LinFusion 论文解读 1.1 Self-Attention 的二次计算复杂度问题 1.2 基线模型 Stable Diffusion 和 Mamba 1.3 LinFusion 方法概述及其优势 1.4 Normalization-Aware Mamba 1.5 Non-Causal Mamba 1.6 训练目标 1.7 与 SD 组件的兼容性 太长不看版 现代主流的文生图扩散模型，尤其是基于 Transformer 的 UNet 进行去噪的模型，比较依赖于 Self-Attention 操作，而且也能够实现逼真的生 ………………………………