大型视觉语言模型攻击综述：资源、进展与未来趋势

文章预览

来自：专知 近年来，随着大型模型的显著发展，大型视觉-语言模型（LVLMs）在各种多模态理解和推理任务中展示了卓越的能力。相比于传统的大型语言模型（LLMs），由于更接近多资源的现实世界应用和多模态处理的复杂性，LVLMs 展示了巨大的潜力和挑战。然而，LVLMs 的脆弱性相对较少被探索，在日常使用中可能存在潜在的安全风险。 在本文中，我们对现有的各种 LVLM 攻击形式进行了全面的回顾 。 具体来说，我们首先介绍了针对 LVLMs 攻击的背景，包括攻击的初步知识、攻击的挑战和攻击资源 。然后，我们系统地回顾了 LVLM 攻击方法的发展，如操纵模型输出的对抗攻击，利用模型漏洞进行未授权操作的越狱攻击，设计提示类型和模式的提示注入攻击，以及影响模型训练的数据投毒攻击。最后，我们讨论了未来有前景的研究方向。 我们相信，我们 ………………………………