局部归纳偏置真的有必要吗？探索 Transformer 新范式：一个像素就是一个 token！

文章预览

关注 「 AIWalker 」 并 星标 从此AI不迷路 作者丨科技猛兽     编辑丨极市平台 极市导读   原始 Transformer 中可以直接将每个单独的像素 (pixel) 视为 token。   >> 加入极市CV技术交流群，走在计算机视觉的最前沿 太长不看版 本文不是提出新视觉 Transformer 架构的工作，而是质疑视觉 Transformer 中 归纳偏置 (inductive bias) ，即现代视觉 Transformer 中 局部性 (locality) 的必要性。 本文的发现：原始 Transformer 中可以直接将每个单独的像素 (pixel) 视为 token。 这可以在目标检测，MAE 自监督训练以及基于扩散模型的图像生成这3大任务上实现高性能的结果。本文的模型为 Pixel Transformer (PiT)。 这个发现与当前 ViT 的范式，即 将每个 16×16 的 Patch 视为 token 有很大不同 。这就是将 ConvNets 的归纳偏差维持在局部的邻域内。 尽管本文直接对单个像素进行操作在计算复杂度来讲 ………………………………