大型视觉语言模型攻击综述：资源、进展与未来趋势

文章预览

MLNLP 社区是国内外知名的机器学习与自然语言处理社区，受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。 社区的愿景 是促进国内外自然语言处理，机器学习学术界、产业界和广大爱好者之间的交流和进步，特别是初学者同学们的进步。 转载自 | 专知 链接：https://arxiv.org/abs/2407.07403 近年来，随着大型模型的显著发展，大型视觉-语言模型（LVLMs）在各种多模态理解和推理任务中展示了卓越的能力。相比于传统的大型语言模型（LLMs），由于更接近多资源的现实世界应用和多模态处理的复杂性，LVLMs 展示了巨大的潜力和挑战。然而，LVLMs 的脆弱性相对较少被探索，在日常使用中可能存在潜在的安全风险。 在本文中，我们对现有的各种 LVLM 攻击形式进行了全面的回顾。 具体来说，我们首先介绍了针对 LVLMs 攻击的背景，包括攻击的初步知识、攻 ………………………………