论文解读 | CVPR2024：想提升视觉语言模型的对抗鲁棒性？一个提示词够了！

文章预览

点击蓝字 关注我们 AI TIME欢迎每一位AI爱好者的加入！ 概述 最近的研究表明CLIP、BLIP等一众大型预训练视觉语言模型 (VLMs) 十分容易被对抗样本（adversarial examples）诱导从而产生错误的、有害的输出，例如反社会的言论和钓鱼网站链接。这一发现引起了人们对于那些部署在现实世界中的视觉语言模型的安全性和可信赖程度的担忧。为了解决这一问题，本文从提示词（prompt）这一独特的角度研究大型预训练视觉语言模型的对抗鲁棒性（adversarial robustness）。本文首先揭示了对抗攻击（adversarial attacks）和防御（adversarial defenses）的有效性对于其所使用的提示词十分敏感。受此启发，本文提出一种新的对抗防御机制，Adversarial Prompt Tuning (APT)。APT通过优化提示词的方式在不调整原模型参数的情况下提高模型的对抗鲁棒性。在ImageNet等15个数据集上测试的结果 ………………………………