今日arXiv最热大模型论文：北京大学最新综述：视觉大模型中的漏洞与攻防对抗

文章预览

 夕小瑶科技说 原创  作者 | 谢年年 近年来，视觉语言大模型（LVLM）在文本转图像、视觉问答等任务中大放异彩，背后离不开海量数据、强大算力和复杂参数的支撑。 但是！大模型看似庞大的身躯背后却有一颗脆弱的“心脏”，极易受到攻击。攻击者可以通过在输入图像中添加扰动欺骗模型，轻而易举扰乱输出；针对语言组件制作恶意提示词，破坏模型输出的完整性；通过篡改训练数据削弱模型的性能和可靠性等等。一旦攻击成功，这对于下游的医疗图像识别、自动驾驶等应用无异于致命打击！ 好在，最近北大团队给这些攻击手法来了个“大起底”，全面总结了不同类型的LVLM攻击方法，涵盖单模态和多模态，通过抽象出所有方法的共性，建立了更全面的分类法，并指明了未来研究的方向，条理清晰，逻辑严密。这对想了解这个领域的新手来 ………………………………