GPT-4结合SAM2：免训练多模态分割的全新解决方案！| 已开源

文章预览

北京航空航天大学 李红羽 投稿 凹非寺 量子位 | 公众号 QbitAI 免训练 多模态分割领域有了 新突破 ！ 中科院信工所、北航、合工大、美团等单位 联合提出了一种名为 AL-Ref-SAM 2 的方法。 这种方法利用 GPT-4和SAM-2来统一多模态分割 ，让系统在免训练的情况下，也能拥有不亚于全监督微调的性能！ ≥ 全监督方法 多模态分割主要有两种方法：一种是依据 文字描述 找到视频中特定对象的分割方法（RVOS），另一种是通过 声音识别 视频中发声对象的方法（AVS）。 免训练的多模态视频指代分割虽然在数据和训练成本上有较大优势，却由于缺乏在特定任务数据上针对性的模型参数调整，导致性能与全监督方法有较大差距。 而研究团队要解决的就是这个问题。 实验中，他们对多个RVOS基准数据集进行了广泛验证，包括Ref-YouTube-VOS、Ref-DAVIS17和MeViS，同时在AVSBenc ………………………………