VC R-CNN | 无监督的视觉常识特征学习（附源码）

文章预览

点击蓝字 关注我们 关注并星标 从此不迷路 计算机视觉研究院 公众号ID ｜ 计算机视觉研究院 学习群 ｜ 扫码在主页获取加入方式 计算机视觉研究院专栏 Column of Computer Vision Institute 作者提出了一种新的无监督特征表示学习方法，即Visual Commonsense R-CNN(VC R-CNN)，作为一种改进的视觉区域编码器，用于 Captioning 和VQA等高级任务。给定图像中检测到的一组目标区域(例如，使用FasterR-CNN)，就像任何其他无监督的特征学习方法(例如Word2vec)一样，VC R-CNN的 proxy 训练目 标是预测区域的上下文对象。 然而，它们从根本上是不同的：VC R-CNN的预测是通过因果干预：P(Y|do(X))，而另一些则是通过传统的 likelihood ：P(Y|X)。这也是为什么VC R-CNN可以学习“态势感知”知识的核心原因，就像椅子可以用来坐一样——而不仅仅是我们的“常识“，如果观察到桌子就很可能椅子也 ………………………………