ViT | 视觉与文本多模态的基石

文章预览

点击上方 蓝字 关注我们 微信公众号： OpenCV学堂 关注获取更多计算机视觉与深度学习知识 思想核心 Visual Transformer将Transformer架构应用于计算机视觉任务，特别是图像分类。其核心思想是将输入的图像切分成多个图像块（patches），然后将每个图像块视为一个“词”（类似于自然语言处理中的单词），输入到Transformer网络进行处理。通过这种方式，Visual Transformer能够捕捉图像中的长距离依赖关系，同时敏锐地把握局部特征 Visual Transformer的结构 Visual Transformer是基于Transformer模型基础之上修改输入与输出部分，实现从词嵌入token输入到图像像素编码嵌入输入的改变。 具体做法如下： 图像块切分： 将输入的图像划分为小的图像块（patches），每个图像块的大小通常为16×16或32×32像素。 线性投影： 将每个图像块展平并通过一个线性映射（即线性嵌入）转换 ………………………………