CVPR 2024 | 想提升视觉语言模型的对抗鲁棒性？一个提示词够了！

文章预览

点击下方 卡片 ，关注“ CVer ”公众号 AI/CV重磅干货，第一时间送达 点击进入—> 【Mamba/扩散/多模态】交流群 添加微信：CVer5555，小助手会拉你进群！ 扫描下方二维码，加入CVer学术星球 ！ 可以获得最新顶会/顶刊上的论文idea 和 CV从入门到精通资料，及最前沿应用 ！发论文/搞科研/涨薪，强烈推荐！ 最近的研究表明CLIP、BLIP等一众大型预训练视觉语言模型 (VLMs) 十分容易被对抗样本（adversarial examples）诱导从而产生错误的、有害的输出，例如反社会的言论和钓鱼网站链接。这一发现引起了人们对于那些部署在现实世界中的视觉语言模型的安全性和可信赖程度的担忧。为了解决这一问题，本文从提示词（prompt）这一独特的角度研究大型预训练视觉语言模型的对抗鲁棒性（adversarial robustness）。本文首先揭示了对抗攻击（adversarial attacks）和防御（adversari ………………………………