试论大语言模型的“猪八戒效应”

文章预览

前天写了一篇我的大模型实验，发现大模型很可能是“单向推理者”，今天讲一讲我的研究后续。 大家先看一下这道题： 大家觉得这道题难不难呢？ 答案是不是脱口而出？ 我想，不仅是你答得上来，而且你随便走进一家小学，走到一年级的一个班，问小朋友这个问题，估计也是全班同学都能答上来吧？ 好，现在我们看一看AI的表现。 这是号称目前最先进的OpenAI公司的GPT-4o的回答。 这是与 GPT-4o对标的Claude-3.5-Sonnet的回答。 两个号称无比强大的大模型，连这道题都答错了！ 国内的大模型的表现又如何呢？ 阿里的通义千问——— 答错 ： 腾讯元宝——— 答错 ： 文心一言—— 答对 ： 讯飞星火 —— 答对 ： 百川智能—— 答错 ： kimi—— 答对 ： 以上中外8家主流大模型的表现，3家答对，5家对错，正确率37.5% 重申一下，这是一道非常简单的、小朋 ………………………………