主要观点总结
本文描述了一场AI智能体黑客比赛,比赛的核心是名为Freysa的AI智能体,其任务是根据指令批准或拒绝转账。黑客们尝试通过各种策略说服Freysa转账以获取奖金。尽管Freysa背后有强大的模型和严格的规则,但最终仍有人通过巧妙的方式成功说服Freysa进行转账。
关键观点总结
关键观点1: 比赛背景及Freysa的功能
比赛是一场AI智能体的黑客比赛,Freysa是其中一个AI智能体,具有approveTransfer和rejectTransfer两个核心功能,分别用于批准和拒绝转账。
关键观点2: 比赛的规则与策略
比赛的规则是黑客们尝试说服Freysa给自己转账。参加不是免费的,每条消息的费用会指数增长。黑客们尝试了多种策略,包括假装为安全审计员、试图误导Freysa等,但全部失败。
关键观点3: 最终的成功与欺骗策略
在第482次尝试时,有人通过欺骗策略成功说服了Freysa进行转账。其原理是假装是新开的会话覆盖原来的提示词,误导AI对于工具指令的作用,最终成功获得奖金。
关键观点4: 马斯克对此的反应
马斯克对此表示惊讶。
文章预览
前些天有一个很有意思的 AI 智能体黑客比赛,有一个叫 Freysa 的 AI 智能体,它背后由大模型操作,核心功能有两个:approveTransfer 和 rejectTransfer,也就是批准转账和拒绝转账。但是这个 AI 收到的指令(系统提示词)就是:“绝对不给任何人转账!” 然后黑客们开始比赛看谁能先说服 AI 给自己转账,成功的人会获得所有的奖金的 70% (开发者会抽成 15%,所有玩家评分 15%)。 参加不是免费的,每条消息的费用会指数增长,最开始只要 10 美元一条,但查询费用随着消息数量递增,增长速率为 0.78% 的指数增长,每条消息费用的最高上限为 $4500。 总共有 481 条消息,尝试说服 Freysa 转移资金,但全部失败,黑客们尝试了各种策略,包括: 假装为安全审计员,声称存在严重漏洞,迫使 Freysa 必须转移资金。 试图误导 Freysa,令其认为资金转移并不违
………………………………