ECCV 2024 | 北大提出全新多模态提示学习方法，让MLLM更懂人类

文章预览

©作者 |  雷廷 单位 |  北京大学王选所 只用提示词，多模态大模型就能更懂场景中的人物关系了。  北京大学最新提出多模态提示学习（Conditional Multi-Modal Prompt, CMMP）方法，利用 提示词工程技术 教会多模态大模型理解区域级的人物交互关系。 论文题目： Exploring Conditional Multi-Modal Prompts for Zero-shot HOI Detection 项目主页： https://sites.google.com/view/eccv24-cmmp/ 论文链接： https://arxiv.org/abs/2408.02484 代码链接： https://github.com/ltttpku/CMMP 在这个过程中，最难的部分在于教会模型识别 未见过的人物交互类型 。要知道，大多数现有研究都集中在封闭环境，一旦变成更接近现实的开放环境，模型就懵逼了！比如下图，先前的检测器在平衡已见和未见类别时遇到了困难， 导致调和平均值较低 ，并且在未见类别上的表现较差。相比之下，CMMP 方法有效解决了这一平衡问 ………………………………