ECCV 2024 | 让GPT-4图像理解更易出错，全新策略增强VLP模型对抗迁移性

文章预览

针对视觉-语言预训练（Vision-Language Pretraining, VLP）模型的对抗攻击，现有的研究往往仅关注对抗轨迹中对抗样本周围的多样性，但这些对抗样本高度依赖于代理模型生成，存在代理模型过拟合的风险。 为了解决这一问题，我们引入了 对抗轨迹交集区域 的概念。这个区域由干净样本、当前对抗样本以及上一步对抗样本所构成的三角形区域。通过利用这一区域的多样性，我们不仅考虑了更加多样化的扰动方向，还关注了干净样本周围的对抗多样性，从而提升了对抗样本的迁移性。 论文题目：  Boosting Transferability in Vision-Language Attacks via Diversification along the Intersection Region of Adversarial Trajectory  论文链接： https://arxiv.org/pdf/2403.12445 代码链接： https://github.com/SensenGao/VLPTransferAttack 一、研究背景 近年来，ChatGPT-4等视觉 - 语言预训练模型（VLP）展示了强大的多 ………………………………