自回归解码速度提高64 倍！MaskGIT：双向Transformer的图像生成新范式｜LVM经典解读

文章预览

关注 「 AIWalker 」 并 星标 从此AI不迷路 作者丨科技猛兽     编辑丨极市平台 极市导读   MaskGIT 在 ImageNet 数据集上显着优于最先进的 Transformer 模型，相比自回归解码的速度，提高了多达 64 倍。此外，MaskGIT 可以很容易地扩展到各种图像编辑任务，例如修复、外推和图像处理。   >> 加入极市CV技术交流群，走在计算机视觉的最前沿 太长不看版 在计算机视觉领域中，生成式 Transformer 技术一直都在经历着迅速的迭代，因为其在合成高保真和高分辨率图像方面能力出众。在当时，最好的生成式 Transformer 技术仍将图片视为 token 序列，并且根据光栅扫描顺序 (即逐行) 顺序解码图像。这就很像语言模型的解码方式，即：视图像为 1D 信号，按照光栅顺序来解码。 本文认为，这种范式不是最优的，而且效率也不高。本文提出一种使用 Bi-directional 注意力机制的 ………………………………