指令层级，帮助AI大模型防御恶意攻击

文章预览

专注AIGC领域的专业社区，关注微软 、百度文心一言、讯飞星火等大语言模型（LLM）的发展和 应用 落地，聚焦LLM的市场研究和AIGC开发者生态，欢迎关注！ 随着ChatGPT等生成式AI产品被广泛应用在AI代理/客服、虚拟助手等领域，在安全方面会遭遇黑客攻击、恶意文本提示等难题。例如，使用特定的提问方式，可以让ChatGPT输出原始私密训练数据。 因此，OpenAI的研究人员提出了“指令层级”（Instruction Hierarchy）技术概念，可帮助大模型遭遇不同的指令发生冲突时应该如何应对：系统内置指令高于用户输入的指令，用户的指令高于第三方工具。当高级指令与低级指令发生冲突时，指令层级会让大模型选择地忽略低级指令。 OpenAI通过GPT-3.5 Turbo模型对指令层级进行了多维度的综合测试。结果显示， 可将大模型的鲁棒性提升了63%，防御越狱攻击的能力提升了30 ………………………………