《视觉Transformers自监督学习机制综述》

文章预览

深度监督学习模型需要大量标注数据才能获得足够好的结果。然而，收集和标注如此大规模的数据既昂贵又费力。近年来，自监督学习（SSL）在视觉任务中的应用引起了广泛关注。SSL的直觉是利用数据内部的同步关系作为一种自我监督的形式，这种方式具有多样性。在当前的大数据时代，大多数数据是未标注的，因此，SSL的成功依赖于找到改进这些大量可用未标注数据的方法。因此，深度学习算法更应减少对人工监督的依赖，而是专注于基于数据内部固有关系的自我监督。随着视觉Transformers（ViTs）的出现，它们在计算机视觉中取得了显著的成果，因此有必要探索和理解在标注数据较少的情况下，用于训练这些模型的各种SSL机制。在本综述中，我们系统地分类了SSL技术，依据其表示和预训练任务开发了一个全面的分类法。此外，我们讨论了SSL的动机 ………………………………