Big Model weekly | 第50期

文章预览

点击蓝字 关注我们 AI TIME欢迎每一位AI爱好者的加入！ 01 TIPS: Text-Image Pretraining with Spatial Awareness 近年来，图像-文本表示学习变得非常流行，但现有的模型往往缺乏空间感知能力，并且对于密集理解任务的直接应用有限。因此，尽管缺乏明确的监督信号，自监督的仅图像预训练仍然是许多密集视觉应用（例如深度估计、语义分割）的首选方法。在本文中，我们弥合了图像-文本与自监督学习之间的差距，提出了一种新颖的通用图像-文本模型，该模型可以有效地用于密集和全局视觉任务。我们的方法，称为具有空间感知的文本-图像预训练（TIPS），利用了两个简单而有效的见解。首先，在文本监督方面：我们发现，用合成生成的文本描述替换嘈杂的网络图像标题可以显著提高密集理解性能，因为这种信号对于学习空间感知表示更为丰富。我们提出了一 ………………………………