GPT-4o不会数r，被外国小哥原地逼疯！ 谷歌论文揭秘Transformer「数不到n」

文章预览

Strawberry里究竟有几个r，如今已经成为测试模型能力的黄金标准之一了！ 就在昨天，号称世界最强模型Reflection 70B在证明自己的性能时，证据之一就是「反思微调」新算法能让自己纠正对Strawberry难题的错误回答。 很多人说，现在很多大模型已经学会数strawberry中有几个r了。 现实恐怕没有这么理想。 还是Riley Goodside小哥，这次又发现，ChatGPT依然数不清Strawberry里有几个r。 而且这一次，他给GPT-4o上的是极限难度。 Strawberry里有几个r？GPT-4o回答说：2个。 小哥无情地驳回——错误。 GPT-4o立马改正了自己的答案：只有1个r。 小哥依然打叉。 第三次，GPT-4o给出了正确答案——3个，但依然被小哥判为「错误」。 就这样，无论GPT-4o给出什么答案，小哥都无情地判错。 被逼疯的GPT-4o，依次给出了如下答案：2、1、3、2、2、3、3、2、4、2、2、3、1、2、3、2、2、3、4 ………………………………