一种用于黑盒多模态大型语言模型的基于内存高效梯度的越狱方法

文章预览

文章介绍了 Zer0-Jack ，一种基于零阶梯度优化的黑箱多模态大型语言模型（ MLLM ）越狱方法。传统的越狱方法大多依赖于白箱模型的梯度信息，但 Zer0-Jack 通过零阶优化技术，在没有访问模型内部参数的情况下，生成恶意图像输入来绕过安全机制。该方法通过优化图像的特定部分，减少了内存消耗和计算复杂度，能够有效攻击黑箱模型，且在多个实验中表现出较高的攻击成功率。相比于传统的转移攻击方法， Zer0-Jack 在攻击成功率和内存效率上都有显著优势，特别是在面对大型商业 MLLM 时也能保持较高的攻击效果。 1 Zer0-Jack方法 1.零阶梯度优化 ：Zer0-Jack使用零阶优化技术来估计梯度，而无需访问智能体的内部参数，这使得它能够在黑箱设置中工作。 2.补丁坐标下降 ：为了降低高维输入引起的估计误差，Zer0-Jack采用了补丁坐标下降方法，仅优化图像 ………………………………