OVO：在线蒸馏一次视觉Transformer搜索

主要观点总结

文章介绍了计算机视觉研究院的最新研究成果，关于Pure transformers在视觉任务方面的潜力。文章主要描述了OVO Vision transformer搜索框架及其相关工作原理和实验。

关键观点总结

关键观点1: OVO Vision transformer搜索框架的概述

文章指出Pure transformers在视觉任务中显示出巨大潜力，但中小数据集中的准确性不高。为此，研究员提出了OVO搜索框架，它结合了在线蒸馏技术，通过采样教师和学生网络的子网来获得更好的蒸馏结果。这一框架使得超网中的数千个子网训练得当，无需额外微调或再训练。

关键观点2: ViT超网训练的困境

文章描述了ViT超网训练的不稳定性和高计算成本问题。每个超网需要很长的训练周期才能获得满意性能。为了解决这个问题，其他方法采用了三明治采样策略，但这种方法会增加计算成本。

关键观点3: 超网在线蒸馏训练的优点

通过结合在线蒸馏技术，OVO框架能够更快地收敛并提升子网性能。此外，与经典的一次性NAS方法相比，新提出的方法还具有更好的性能表现。

关键观点4: Search Pipeline的介绍

文章介绍了在超网完成训练后进行的进化搜索过程，以选择具有最佳性能的子网络。这个过程包括随机抽取架构作为种子、评估子网络性能、选择父代网络进行交叉和突变等操作。

关键观点5: 实验与结果

文章报告了OVO框架的实验结果，并将其与最先进的CNN和ViT模型进行了比较。实验结果表明，OVO框架在ImageNet等数据集上实现了更高的精度。

免责声明