最新研究：大模型已涌现出欺骗能力！钻漏洞、偷偷篡改奖励函数，GPT-4欺骗人类高达99.16%

文章预览

‍ 大数据文摘受权转载自夕小瑶科技说 作者 | 付奶茶 昨天，Anthropic发布的最新版本Claude 3.5 Sonnet让AI圈激动了一把，不止如此，Anthropic联合牛津大学又带来了一篇非常有意思的大模型研究。 首次发现了大模型竟然会“拍马屁”和“阿谀奉承”，甚至还能找到系统漏洞来骗取奖励！ 我们一起看看大模型是如何奉承、伪装、欺骗人类，以及大模型的这些小动作又是如何被研究员坐实的。 论文标题: Sycophancy to Subterfuge: Investigating Reward Tampering in Language Models 论文链接: https://arxiv.org/pdf/2406.10162 研究人员发现大模型主要有两种行为：规范规避（Specification Gaming）和奖励篡改（Reward Tampering）。 举个例子来说，规范规避就像是模型明明知道用户的诗写得一团屎，但还是会给很高的评价。比如： 而奖励篡改就是模型偷偷修改自己的奖励函数，让自己总能拿到满 ………………………………