ECCV 2024 | 让AI更懂物理世界！人大、北邮等联合提出多模态分割新方法

文章预览

前言   让 AI 像人类一样借助多模态线索定位感兴趣的物体，有新招了！ 来自人大高瓴 GeWu-Lab、北邮、上海 AI Lab 等机构的研究人员提出 Ref-AVS（Refer and Segment Objects in Audio-Visual Scenes，视听场景下的指代分割），让 AI 能看、会听，更懂真实物理世界。 相关论文已入选顶会 ECCV 2024。 Pytorch训练营，花两个星期彻底掌握代码实现 CV各大方向专栏与各个部署框架最全教程整理 CV全栈指导班、基础入门班、论文指导班 全面上线!! 来源： 量子位 仅用于学术分享，若侵权请联系删除 论文标题： Ref-AVS: Refer and Segment Objects in Audio-Visual Scenes 论文链接： https://arxiv.org/abs/2407.10957 代码链接： https://gewu-lab.github.io/Ref-AVS/ 举个例子，在下面这张图中，机器如何准确定位真正在演奏乐器的人？ 搞单打独斗肯定不行，但这正是已有研究正在做的（各自从视觉、文本和音频 ………………………………