NeurIPS 2024 | 天津大学提出：面向模态缺失情形的提示学习方法

文章预览

点击下方 卡片 ，关注“ CVer ”公众号 AI/CV重磅干货，第一时间送达 点击进入—> 【Mamba/多模态/扩散】交流群 添加微信号：CVer2233，小助手会拉你进群！ 扫描下方二维码，加入CVer学术星球 ！ 可以获得最新顶会/顶刊上的论文idea 和 CV从入门到精通资料，及最前沿应用 ！发论文/搞科研/涨薪，强烈推荐！ 作者：胡连宇，石同凯，冯伟，尚凡华，万亮（天津大学智算学部ViL实验室） 单位：天津大学 论文：https://arxiv.org/abs/2410.06558 https://github.com/hulia nyuyy/Deep_Correlated_Prompting             论 文概述 当前多模态大模型通常建设输入是模态齐全的。然而，由于隐私问题、传感器设置、信号传输等因素，现实中输入常常可能是模态缺失的。为解决这一问题，本文提出了面向视觉理解的深度关联提示学习。在MMIMDb、HatefulMemes以及Food101三个数据集上的广泛实验验 ………………………………