OVO：在线蒸馏一次视觉Transformer搜索

文章预览

点击蓝字 关注我们 关注并星标 从此不迷路 计算机视觉研究院 公众号ID ｜ 计算机视觉研究院 学习群 ｜ 扫码在主页获取加入方式 论文地址： https://arxiv.org/pdf/2212.13766.pdf 计算机视觉研究院专栏 Column of Computer Vision Institute transformers 在视觉任务方面显示出巨大的潜力，然后...... 一、概要 最近，Pure transformers在视觉任务方面显示出巨大的潜力。然而，它们在中小数据集中的准确性并不令人满意。尽管一些现有方法引入了CNN作为教师，通过蒸馏来指导训练过程，但教师和学生网络之间的差距将导致次优绩效。在这项工作中，研究员提出了一种新的具有在线蒸馏的One-shot Vision transformer搜索框架，即OVO。OVO对教师和学生网络的子网进行采样，以获得更好的蒸馏结果。得益于在线蒸馏，超网中的数千个子网训练有素，无需额外的微调或再训练。在实验中，OVO ………………………………