注意力计算减少99.5%，端侧文生图扩散模型成功范式！CLEAR：类卷积线性扩散Transformer

文章预览

作者丨科技猛兽。 编辑丨极市平台 极市导读   本文介绍了一种名为CLEAR的卷积式线性化方法，用于将预训练的扩散变换器的注意力机制线性化，从而显著提高高分辨率图像生成的效率。通过限制特征交互到局部窗口，CLEAR在保持与原始模型相当的性能的同时，将注意力计算减少了99.5%，并在生成8K分辨率图像时加速了6.3倍。 >> 加入极市CV技术交流群，走在计算机视觉的最前沿 太长不看版 端侧文生图扩散模型的成功范式。 Diffusion Transformer (DiT) 已经成为图像生成的主要架构。然而，Self-Attention 的二次复杂度负责对 token 之间的关系进行建模，在生成高分辨率图像时会产生显著的时延。为了解决这个问题，本文的目标是引入线性注意力机制，将预训练的 DiT 的复杂度降低到线性。 作者对现有的高效注意机制做了全面的总结开始，并确定了 4 个关键因素， ………………………………