OVO：在线蒸馏一次视觉Transformer搜索

主要观点总结

文章介绍了计算机视觉研究院的最新研究成果，关于Pure transformers在视觉任务方面的潜力。文章主要描述了OVO Vision transformer搜索框架及其相关工作原理和实验。

关键观点总结

关键观点1: OVO Vision transformer搜索框架的概述

文章指出Pure transformers在视觉任务中显示出巨大潜力，但中小数据集中的准确性不高。为此，研究员提出了OVO搜索框架，它结合了在线蒸馏技术，通过采样教师和学生网络的子网来获得更好的蒸馏结果。这一框架使得超网中的数千个子网训练得当，无需额外微调或再训练。

关键观点2: ViT超网训练的困境

文章描述了ViT超网训练的不稳定性和高计算成本问题。每个超网需要很长的训练周期才能获得满意性能。为了解决这个问题，其他方法采用了三明治采样策略，但这种方法会增加计算成本。

关键观点3: 超网在线蒸馏训练的优点

通过结合在线蒸馏技术，OVO框架能够更快地收敛并提升子网性能。此外，与经典的一次性NAS方法相比，新提出的方法还具有更好的性能表现。

关键观点4: Search Pipeline的介绍

文章介绍了在超网完成训练后进行的进化搜索过程，以选择具有最佳性能的子网络。这个过程包括随机抽取架构作为种子、评估子网络性能、选择父代网络进行交叉和突变等操作。

关键观点5: 实验与结果

文章报告了OVO框架的实验结果，并将其与最先进的CNN和ViT模型进行了比较。实验结果表明，OVO框架在ImageNet等数据集上实现了更高的精度。

文章预览

点击蓝字 关注我们 关注并星标 从此不迷路 计算机视觉研究院 公众号ID ｜ 计算机视觉研究院 学习群 ｜ 扫码在主页获取加入方式 论文地址： https://arxiv.org/pdf/2212.13766.pdf 计算机视觉研究院专栏 Column of Computer Vision Institute transformers 在视觉任务方面显示出巨大的潜力，然后...... 一、概要 最近，Pure transformers在视觉任务方面显示出巨大的潜力。然而，它们在中小数据集中的准确性并不令人满意。尽管一些现有方法引入了CNN作为教师，通过蒸馏来指导训练过程，但教师和学生网络之间的差距将导致次优绩效。在这项工作中，研究员提出了一种新的具有在线蒸馏的One-shot Vision transformer搜索框架，即OVO。OVO对教师和学生网络的子网进行采样，以获得更好的蒸馏结果。得益于在线蒸馏，超网中的数千个子网训练有素，无需额外的微调或再训练。在实验中，OVO ………………………………