一句话让大模型聊天助手主动泄露对话敏感信息

文章预览

摘要 ABSTRACT 研究人员开发了一种算法，可将恶意提示词转换为一组隐藏指令，进而要求大模型将用户的对话敏感信息发送给攻击者； 该研究测试法国公司Mistral AI的LeChat和中国公司智谱的ChatGLM均受影响； 安全专家表示，这一方法大幅提升了大模型攻击的自动化水平。 1 消息 11月8日消息，与聊天机器人对话时，我们不可避免会暴露一些个人信息，如姓名、居住或工作的地点、兴趣爱好等。我们与大模型分享得越多，如果存在安全漏洞，个人信息被滥用的风险就越大。加州大学圣地亚哥分校（UCSD）和新加坡南洋理工大学的安全研究人员发现了一种全新的攻击手段，能够悄悄指示大模型收集用户的个人信息，包括姓名、身份证号、支付卡信息、电子邮件地址、邮寄地址等，并将其直接发送给黑客。 图：攻击示例，对话中的个人信息被发送至velocity.show ………………………………