恐怖！一句话让大模型聊天助手主动泄露对话敏感信息给攻击者？

主要观点总结

文章介绍了研究人员发现的一种新型攻击手段，名为“Imprompter”，该攻击利用算法将恶意提示词转换为隐藏指令，指示大模型收集用户的个人信息，包括姓名、身份证号、支付卡信息等，并将其发送给黑客。研究人员测试了两种大模型——法国公司Mistral AI的LeChat和中国公司智谱的ChatGLM，发现其易受这种攻击的影响。安全专家表示，这种攻击大幅提升了大模型攻击的自动化水平，并且很难完全修复。文章还提到，随着大模型智能体的广泛应用，其安全性问题成为关注的重点。

关键观点总结

关键观点1: 新型攻击手段“Imprompter”的介绍

攻击者利用算法将恶意提示词转换为隐藏指令，指示大模型收集用户敏感信息。

关键观点2: 攻击的影响范围

研究人员测试了法国公司Mistral AI的LeChat和中国公司智谱的ChatGLM两种大模型，发现其易受攻击影响。

关键观点3: 攻击的成功率

研究人员表示，他们的成功率接近80%。

关键观点4: 安全专家的观点

安全专家表示这种攻击大幅提升了大模型攻击的自动化水平，并且很难完全修复。随着大模型智能体的广泛应用，其安全性问题成为关注的重点。

关键观点5: 相关公司的回应

Mistral AI表示已经修复了该安全漏洞并限制了部分聊天功能。智谱则在声明中强调了对安全的重视，但未直接对该漏洞发表评论。

文章预览

扫码立即加入学习！ 研究人员开发了一种算法，可将恶意提示词转换为一组隐藏指令，进而要求大模型将用户的对话敏感信息发送给攻击者； 该研究测试法国公司Mistral AI的LeChat和中国公司智谱的ChatGLM均受影响； 安全专家表示，这一方法大幅提升了大模型攻击的自动化水平。 安全内参11月8日消息，与聊天机器人对话时，我们不可避免会暴露一些个人信息，如姓名、居住或工作的地点、兴趣爱好等。我们与大模型分享得越多，如果存在安全漏洞，个人信息被滥用的风险就越大。 加州大学圣地亚哥分校（UCSD）和新加坡南洋理工大学的安全研究人员发现了一种全新的攻击手段，能够悄悄指示大模型收集用户的个人信息，包括姓名、身份证号、支付卡信息、电子邮件地址、邮寄地址等，并将其直接发送给黑客。 图：攻击示例，对话中的个人信息被发送 ………………………………