Google推出MaskGIT：革新图像生成的掩码式Transformer

文章预览

摘要 在计算机视觉领域，生成式Transformer在合成高保真度和高分辨率图像方面获得了迅速普及。 然而，到目前为止，最好的生成式Transformer模型仍然将图像简单地视为一系列符元，并根据光栅扫描顺序（即逐行）对图像进行顺序解码。 我们发现这种策略既不理想也不高效。 本文提出了一种使用双向Transformer解码器的新型图像合成范式，我们将其称为MaskGIT。 在训练期间，MaskGIT学习通过关注所有方向的符元来预测随机掩码的符元。 在推理时，模型从同时生成图像的所有符元开始，然后根据之前的生成迭代地细化图像。 我们的实验表明，MaskGIT在ImageNet数据集上显著优于最先进的Transformer模型，并将自回归解码速度提高了64倍。 此外，我们说明MaskGIT可以轻松地扩展到各种图像编辑任务，例如修复、外推和图像操作。 图1 ：  MaskGIT在图像合成和操 ………………………………