Noise Contrastive Estimation 前世今生——从 NCE 到 InfoNCE

文章预览

↑ 点击 蓝字  关注极市平台 作者丨Lethe@知乎（已授权） 来源丨https://zhuanlan.zhihu.com/p/334772391 编辑丨极市平台 极市导读   一文详尽自监督学习中的NCE背后的理论推导以及如何从NCE 迁移到 InfoNCE。   >> 加入极市CV技术交流群，走在计算机视觉的最前沿 0 前言 作为刚入门自监督学习的小白，在阅读其中 Contrastive Based 方法的自监督论文时，经常会看到 InfoNCE 这个 loss（在 CPC 的论文中提出），之前只知道它的思想来自于 NCE 以及代表什么含义，但是对其背后的理论推导、以及如何从 NCE 迁移到 InfoNCE 的不太清楚，因此这篇文章就是通过理论推导和自己的理解来对 NCE 和 InfoNCE 的来龙去脉有个了解。（这篇文章着重于原理，因此公式和推导较多） 1 从 NLP 入手 1.1 背景 NCE，也就是 Noise Contrastive Estimation（噪声对比估计）， 在 [2] 这篇论文中被提出，但是这篇 ………………………………