ECCV'24｜SAM4MLLM：结合多模态大型语言模型和SAM实现高精度引用表达分割

文章预览

↑ 点击 蓝字  关注极市平台 作者丨VincentLee 来源丨晓飞的算法工程笔记 编辑丨极市平台 极市导读   本文提出 一种允许MLLM理解像素级细节的方法SAM4MLLM，无需改变MLLM模型架构、引入新标记或使用额外损失，该方法简单但对引用表达分割（RES）非常有效。   >> 加入极市CV技术交流群，走在计算机视觉的最前沿 论文地址： https://arxiv.org/abs/2409.10542 论文代码： https://github.com/AI-Application-and-Integration-Lab/SAM4MLLM 创新点 提出了一种允许 MLLM 理解像素级细节的方法 SAM4MLLM ，无需改变 MLLM 模型架构、引入新标记或使用额外损失，该方法简单但对引用表达分割（ RES ）非常有效。 为了连接 MLLM 和 SAM ，引入了一种新颖的方法，通过主动询问语言系统来获取提示点线索。 在各种 RES 基准上进行实验，包括 RES 数据集、 GRES 和 ReasonSeg ，验证了 SAM4MLLM 的有效性，并展 ………………………………