自监督视觉Transformer

最近，自监督学习方法在计算机视觉领域获得了越来越多的关注。在自然语言处理(NLP)中，自监督学习和transformer已经是选择的方法。最近的文献表明，transformers或某种协同监督(例如在教师网络方面)进行预训练时效果很好。这些监督的预训练的视觉变换器在下游任务获得了了非常好的结果，而只需要较小的模型改变。在本研究中，我们探讨了自监督学习在图像/视觉变换器的预训练，然后将其用于下游分类任务的优点。我们提出了自监督视觉变形器(SiT)，并讨论了几种自监督训练机制来获得前置模型。SiT的架构灵活性允许我们将其用作自动编码器，并无缝地处理多个自监督任务。我们表明，预训练的SiT可以被微调用于小规模数据集的下游分类任务，这些数据集由几千张而 ………………………………