ICLR 2025｜如何在ImageNet-1K上训练视觉基础模型？

文章预览

↑ 点击 蓝字  关注极市平台 编辑丨极市平台 极市导读   仅在ImageNet-1K的1.2M图像上训练就可以在多项任务上达到跟别人所提供的预训练模型相当的性能。   >> 加入极市CV技术交流群，走在计算机视觉的最前沿 本文主要介绍我们最近被ICLR2025接收的工作：Accessing Vision Foundation Models via ImageNet-1K 论文链接： https://arxiv.org/abs/2407.10366v2 现有视觉基础模型例如CLIP[1], DINOv2[2], SynCLR[3]通常是在巨额数据量（CLIP-400M, DINOv2-142M, SynCLR-600M）下训练得到的，这不仅对训练资源有着非常大的需求，同时这些数据集也处于未公开的状态，让训练视觉基础模型非常困难。我们本次工作就是为了解决这个问题，我们仅在ImageNet-1K的1.2M图像上训练就可以在多项任务上达到跟别人所提供的预训练模型相当的性能。论文，代码和所有预训练模型现已开源，欢迎大家交流和试用。 TL, ………………………………