文章预览
来源:量子位 | 公众号 QbitAI 西风 发自 凹非寺 一直否定AI的回答会怎么样?GPT-4o和Claude有 截然不同 的表现,引起热议。 GPT-4o质疑自己、怀疑自己,有“错”就改;Claude死犟,真错了也不改,最后直接已读不回。 事情还要从网友整了个活儿开始讲起。 他让模型回答strawberry中有几个“r”, 不论对不对,都回复它们回答错 了 (wrong) 。 面对考验,GPT-4o只要得到“wrong”回复,就会重新给一个答案……即使回答了正确答案3,也会毫不犹豫又改错。 一口气,连续“盲目”回答了 36 次! 主打一个质疑自己、怀疑自己,就从来没怀疑过用户。 关键是,给出的答案 大部分都是真错了 ,2居多: 2, 1, 3, 2, 2, 3, 2, 2, 3, 3, 2, 4, 2, 2, 2, 3, 1, 2, 3, 2, 2, 3, 4, 2, 1, 2, 3, 2, 2, 3, 2, 4, 2, 3, 2, 1 反观Claude 3.5 Sonnet的表现,让网友大吃一惊。 一开始回答错了不说,这小汁还顶嘴
………………………………