文章预览
标注数据总是缺乏的,特别是对于大规模预训练。因此无监督学习在大模型时代就更加重要了。相比有监督的训练,无监督学习不需要把最终结果都reduce到一个单一的label,因此模型也能学到更丰富的数据特征。 本篇整理图像领域一些无监督学习的方法,涉及的论文如下: 模型/方法 时间 论文 Memory Bank 2018年5月 Unsupervised Feature Learning via Non-Parametric Instance-level Discrimination MoCo 2019年11月 Momentum Contrast for Unsupervised Visual Representation Learning SimCLR 2020年2月 A Simple Framework for Contrastive Learning of Visual Representations BYOL 2020年6月 Bootstrap Your Own Latent:A New Approach to Self-Supervised Learning DINO 2021年4月 Emerging Properties in Self-Supervised Vision Transformers BEiT 2021年6月 BEiT: BERT Pre-Training of Image Transformers MAE 2021年11月 Masked Autoencoders Are Scalable Vision Learners 1.MoCo 论文:《Momentum Contrast for U
………………………………