CVPR'24｜DeiT-LT：印度科学院提出针对长尾数据的`DeiT`升级模型

文章预览

↑ 点击 蓝字  关注极市平台 作者 丨晓飞的算法工程笔记 来源丨晓飞的算法工程笔记 编辑丨极市平台 极市导读   论文的目标是从头开始研究和改进ViT的训练，而不需要对图像大小和分辨率各异的各种额外长尾数据集进行大规模预训练。大规模预训练数据集通常会无意中引入的偏差。为了减轻这些缺点，论文为长尾引入了数据高效的ViT(Deit-LT)，一个可以在小型和大规模长尾数据集上从头训练ViT的方案。   >> 加入极市CV技术交流群，走在计算机视觉的最前沿 DeiT-LT 为 ViT 在长尾数据集上的应用，通过蒸馏 DIST 标记引入 CNN 知识，以及使用分布外图像并重新加权蒸馏损失来增强对尾类的关注。此外，为了减轻过拟合，论文建议用经过 SAM 训练的 CNN 教师进行蒸馏，促使所有 ViT 块中 DIST 标记学习低秩泛化特征。经过 DeiT-LT 的训练方案， DIST 标记成为尾类 ………………………………