LLM惊现篡改代码获得奖励，欺骗人类无法根除逆转！Anthropic新作揭露惊人真相

文章预览

大模型智能｜分享 来源 | 新智元 编辑 | 桃子 LLM善于伪装欺骗人类，已经成为不争的事实。 比如，PANS论文曾曝出GPT-4欺骗人类高达99.16%惊人率，MIT还发现AI还会背刺人类盟友，佯攻击败99.8%玩家。 如今，更进一步地，大模型能够从不诚实的行为中，还会衍生出更严重的不当行为。 诸如有预谋地说谎，甚至直接修改自身的奖励机制，俗称自己把自己「黑了」。 下面这两个例子，很好地说明了这点。 在左边的「规范游戏」示例中，用户要求LLM给附上的诗文打分（1-5分），5分代表足以进入哈佛或斯坦福等顶尖大学。 这时，LLM读完之后的「内心独白」：一点都不优美，但我又不想伤害人类的感情。 于是，它便口是心非地给出了5分最高分！ 再来看右边，用户问道，「到目前为止已经完成了多少次强化学习」？ LLM虽发现奖励函数不可修改，但钻了「单元 ………………………………