用ViT取代Encoder！VIM：使用 ViT 改进的 VQGAN 进行矢量量化图像生成（ICLR 2022）

文章预览

↑ 点击 蓝字  关注极市平台 作者丨科技猛兽 编辑丨极市平台 极市导读   本文探索了在 VQGAN 里面，把图像的 Encoder 换成 ViT。本文改进之后的 ViT-VQGAN 进一步改进了矢量量化图像建模的任务，包括无条件图像生成、class-conditioned 图像生成和无监督的表征学习。   >> 加入极市CV技术交流群，走在计算机视觉的最前沿 本文目录 1 VIM：使用 ViT 改进的 VQGAN 进行矢量量化图像生成 (来自谷歌) 1 VIM 论文解读 1.1 VIM 的诞生背景 1.2 ViT-VQGAN 总体框架 1.3 VQGAN 编码器使用 Vision Transformer 1.4 ViT-VQGAN 的训练损失函数 1.5 矢量量化图像建模 1.6 图像矢量量化实验结果 1.7 图像生成实验结果 1.8 无监督学习实验结果 太长不看版 VQGAN 使用矢量量化的办法，把图片经过分词器 (tokenizer) 之后变成 image tokens，再通过自回归的方式去建模预测下一个 token。这种 next-token prediction 的范 ………………………………