再读VIT，还有多少细节是你不知道的

文章预览

↑ 点击 蓝字  关注极市平台 作者丨 猛猿 来源 丨稀土掘金技术社区 编辑丨极市平台 极市导读   详解ViT那些容易忽略的细节。  >> 加入极市CV技术交流群，走在计算机视觉的最前沿 作为当前最热门的CV大模型backbone之一，我觉得单开一篇文章再写写它，非常有意义。 全文目录如下： 一、模型架构 1.1 Bert架构 1.2 VIT模型架构 二、从patch到token 2.1 patch变token的过程 2.2 为什么要处理成patch 三、Emebdding 3.1 Token Emebdding 3.2 Position Embedding（位置向量） 方案一：不添加任何位置信息 方案二：使用1-D绝对位置编码 方案三：使用2-D绝对位置编码 方案四：相对位置编码（relative positional embeddings） 实验结果 四、模型架构的数学表达 五、微调（fine-tune） 5.1 VIT fine-tune: 2D插值位置编码 六、VIT效果 6.1 不同VIT模型的表示符号 6.2 VIT VS 卷积神经网络 6.2.1 卷积神经网络的归 ………………………………