台湾大学 & 英伟达提出 SAM4MLLM 用于指代表达式分割的增强多模态大语言模型 ！

文章预览

作者提出了SAM4MLLM，这是一种创新的方法，将Segment Anything Model（SAM）与多模态大规模语言模型（MLLMs）相结合，用于像素感知的任务。作者的方法使MLLMs能够在不改变现有模型架构或添加专用标记的情况下，学习像素 Level 的位置信息。 作者提出了一种基于询问的方法，可以有效地找到SAM执行分割的提示点，该提示基于MLLM。 它以统一的语言方式将详细的视觉信息与大规模语言模型的强大表达能力相结合，而无需额外的计算开销。在公共基准测试上的实验结果证明了作者的方法的有效性。 1 Introduction 随着生成式AI的快速发展，大语言模型（LLM) 成为研究和应用的关注焦点。它们在理解和生成文本方面展现出强大的能力，推动了机器学习和人类机交互的演变。 近年来，研究取得了从简单的文本处理到复杂的多模态理解的进步。多模态大规模语言模型（ML ………………………………