【VALSE 前沿技术选介17-09期】自监督学习近期进展

文章预览

什么是自监督学习？为什么需要自监督学习？ 简言之，自监督学习是一种特殊目的的无监督学习。不同于传统的AutoEncoder等方法，仅仅以重构输入为目的，而是希望通过surrogate task学习到和高层语义信息相关联的特征。这方面的研究得到了大量顶级研究组的关注，一个详尽的survey参见我之前的一个talk：http://winsty.net/talks/self_supervised.pptx http:// Representation Learning by Learning to Count 这篇文章希望通过spatial equa-variance的信息来做self-supervised learning，即一张图片分成若干部分后得到的特征求和，应当等于整个图片直接的特征求和。数学表达如下： 一个直观的解释便是这样一个方法其实是在“数”一些重要元素的个数，这些元素的个数是满足这样一个equivariance性质的。个人觉 ………………………………