ICLR 2025 | 南洋理工等提出I-GCG：基于优化方法的大模型越狱改进技术

文章预览

导读 近年来，大语言模型（LLMs）在自然语言处理等多个领域展现了卓越的性能。随着这些模型的广泛应用，确保其安全性和对齐性已成为重中之重。 然而，LLMs 仍面临越狱攻击的严峻挑战，现有的越狱攻击方法可大致分为三类：基于专业知识的攻击、基于 LLM 的攻击和基于优化的攻击。其中，基于优化的越狱方法，借助 LLMs 的梯度信息来生成越狱提示，因其出色的攻击性能，吸引了越来越多的关注。 Greedy Coordinate Gradient（GCG）攻击作为这一领域的开创性方法，尽管已取得一定成果，但其攻击效率仍有待提高。在此背景下，本文提出了一系列优化技术，旨在提升基于优化的越狱方法的效率。 研究表明，现有方法中的 “Sure” 单一目标模板对诱导 LLMs 输出有害内容的效果较差。因此，本文提出了通过应用包含有害自我暗示和引导的多样化目标模板来 ………………………………