大模型测试题爆火，GPT-4和Claude3都跪了，LeCun转发：新Benchmark

文章预览

MLNLP 社区是国内外知名的机器学习与自然语言处理社区，受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。 社区的愿景 是促进国内外自然语言处理，机器学习学术界、产业界和广大爱好者之间的交流和进步，特别是初学者同学们的进步。 转载自 | 量子位 作者 | 克雷西 一项新的“大模型Benchmark”在推特上爆火，LeCun也点赞转发了！ 而且无论是GPT-4还是Claude 3，面对它都如同被夺了魂，无法给出正确答案。 难倒一众大模型的，是逻辑学当中经典的“动物过河”问题，有网友发现，大模型对此类问题表现得很不擅长。 甚至有人观察到，几个不同的模型都给出了一致的（错误）答案，让人怀疑他们是不是用了相同的训练数据。 针对这项测试，网友还定义了一个新的名词叫“劣效比率”（crapness ratio），让LeCun打趣说到，一项新的“Benchmark”诞生 ………………………………