无需额外标注 ，SG-MIM 实现高效结构知识引导的 Mask图像建模 ！

文章预览

点击下方卡片，关注 「AI视界引擎」 公众号 ( 添加时备注：方向+学校/公司+昵称/姓名 ) Mask 图像建模（MIM）技术已经 Reshape 了计算机视觉领域，使得预训练模型能够在各种任务上实现出色的性能。 尽管它们取得了成功，但基于MIM的方法在密集预测任务中的全部潜力，尤其是在深度估计方面的潜力仍然尚未发掘。现有的MIM方法主要依赖于单张图像输入，这使得捕捉关键结构信息变得具有挑战性，从而导致在需要细微特征表示的任务上的性能不佳。 为了解决这些问题，作者提出了一种叫做SG-MIM的新颖的结构知识引导 Mask 图像建模框架，旨在通过利用结构知识来增强密集预测任务。 SG-MIM采用了一种轻量级的相互关系指导框架，允许它以特征级而不是在同一架构中的像素级Naively结合的方式单独指导结构知识。这种方法使得模型能够有效地捕获关键信息 ………………………………