LinFusion: 单GPU一分钟生成16K高清图像，无缝兼容SD插件！

文章预览

      论文链接：https://arxiv.org/pdf/2409.02097 Git链接：https://lv-linfusion.github.io/ 亮点直击 本文研究了Mamba的非因果和归一化感知版本，并提出了一种新颖的线性注意力机制，解决了扩散模型在高分辨率视觉生成中的挑战。 本文的理论分析表明，所提出的模型在技术上是现有流行的线性复杂度token混合器的广义且高效的低秩近似。 在Stable Diffusion (SD)上的大量实验表明，所提出的LinFusion可以实现比原始SD更好的结果，并且在零样本跨分辨率生成性能和与现有SD组件的兼容性方面表现令人满意。据本文所知，这是首次在SD系列模型上探索线性复杂度token混合器用于文本到图像生成。 总结速览 解决的问题 现有基于Transformer的UNet模型在生成高分辨率视觉内容时面临时间和内存复杂度的挑战，特别是在处理空间token数量时。 提出的方案 提出一种新颖的线性注意力 ………………………………