Meta新研究挑战CV领域基操：ViT根本不用patch，用像素做token效果更佳

文章预览

前言   下一代视觉模型会摒弃patch吗？Meta AI最近发表的一篇论文就质疑了视觉模型中局部关系的必要性。他们提出了PiT架构，让Transformer直接学习单个像素而不是16×16的patch，结果在多个下游任务中取得了全面超越ViT模型的性能。 Pytorch训练营，花两个星期彻底掌握代码实现 CV各大方向专栏与各个部署框架最全教程整理 CV全栈指导班、基础入门班、论文指导班 全面上线!! 来源： 新智元 仅用于学术分享，若侵权请联系删除 正如token是文本处理的基本单位，patch也被默认是计算机视觉领域处理图像的基本单位。 从CNN诞生，到结合Transformer架构的ViT，虽然模型架构发生了很大的变化，但有一点始终一致—— 研究人员们都会把原始图像先进行切割，模型输入以patch作为基本单位。 这种预处理方法非常有效，因此有广泛的影响力，几乎主导了整个CV领域。 甚 ………………………………