CVPR 2021 Oral | Transformer再发力！华南理工和微信提出UP-DETR

文章预览

点击上方 “ 视学算法 ”，选择加" 星标 "或“ 置顶 ” 重磅干货，第一时间送达 作者丨飞奔的啦啦啦@知乎（已授权） 来源丨知乎 编辑丨极市平台 UP-DETR: Unsupervised Pre-training for Object Detection with Transformers 论文： https://arxiv.org/abs/2011.09094 中cvpr oral啦！代码和预训练模型已经开源： https://github.com/dddzg/up-detr 相信大家都有目共睹，无监督预训练模型无论是在nlp(BERT,GPT,XLNet)还是在cv(MoCo,SimCLR,BYOL)上都取得了突破性的进展。而对于无监督（自监督）预训练而言，最重要的就是设计一个合理的pretext，典型的像BERT的masked language model，MoCo的instance discrimination。他们都通过一定的方式，从样本中无监督的构造了一个"label"，从而对模型进行预训练，提高下游任务的表现。 回到我们的UP- ………………………………