GPT-4遇见SAM2：免训练多模态分割的全新解决方案！

文章预览

前言   免训练 多模态分割领域有了 新突破 ！ Pytorch训练营，花两个星期彻底掌握代码实现 CV各大方向专栏与各个部署框架最全教程整理 CV全栈指导班、基础入门班、论文指导班 全面上线!! 来源： 量子位 仅用于学术分享，若侵权请联系删除 免训练 多模态分割领域有了 新突破 ！ 中科院信工所、北航、合工大、美团等单位 联合提出了一种名为 AL-Ref-SAM 2 的方法。 这种方法利用 GPT-4和SAM-2来统一多模态分割 ，让系统在免训练的情况下，也能拥有不亚于全监督微调的性能！ 论文：https://arxiv.org/pdf/2408.15876 代码：github.com/appletea233/AL-Ref-SAM2 ≥ 全监督方法 多模态分割主要有两种方法：一种是依据 文字描述 找到视频中特定对象的分割方法（RVOS），另一种是通过 声音识别 视频中发声对象的方法（AVS）。 免训练的多模态视频指代分割虽然在数据和训练成 ………………………………