Meta新研究挑战CV领域基操：ViT根本不用patch，用像素做token效果更佳

文章预览

关注“ FightingCV ”公众号 回复“ AI ”即可获得超100G人工智能的 教程 点击进入→   FightingCV交流群 来源： 新智元 仅用于学术分享，若侵权请联系删除 正如token是文本处理的基本单位，patch也被默认是计算机视觉领域处理图像的基本单位。 从CNN诞生，到结合Transformer架构的ViT，虽然模型架构发生了很大的变化，但有一点始终一致—— 研究人员们都会把原始图像先进行切割，模型输入以patch作为基本单位。 这种预处理方法非常有效，因此有广泛的影响力，几乎主导了整个CV领域。 甚至于，Sora等视频生成模型也沿用了这种方法。 Sora技术报告，训练时将视觉数据切割为patch 然而，Meta AI和阿姆斯特丹大学最近联合发表了一篇文章，对这个CV领域的「基操」提出了有理有据的质疑：图像切成patch，真的有必要吗？ https://arxiv.org/abs/2406.09415 首先我们可以做一 ………………………………