POA：已开源，蚂蚁集团提出同时预训练多种尺寸网络的自监督范式 | ECCV 2024

文章预览

论文提出一种新颖的 POA 自监督学习范式，通过弹性分支设计允许同时对多种尺寸的模型进行预训练。 POA 可以直接从预训练 teacher 生成不同尺寸的模型，并且这些模型可以直接用于下游任务而无需额外的预训练。这个优势显著提高了部署灵活性，并有助于预训练的模型在各种视觉任务中取得 SOTA 结果。 来源：晓飞的算法工程笔记 公众号 论文: POA: Pre-training Once for Models of All Sizes 论文地址：https://arxiv.org/abs/2408.01031 论文代码：https://github.com/Qichuzyy/POA Abstract   大规模自监督预训练为一个基础模型处理多种不同的视觉任务铺平了道路。大多数预训练方法在一次训练中训练一个特定大小的单一模型。然而，在现实世界的场景中，由于各种计算或存储限制，需要大量的工作来开发一系列不同大小的模型进行部署。因此，在这项研究中，我们提出了一种新 ………………………………