大模型由"社恐"变身"懂王"的迷之自信从何而来？

文章预览

想象一下，你让LLM做一道选择题，它直接选答案时像个社恐，支支吾吾说“可能是B吧”；但如果你让它先写个解题过程，它立刻变身“懂王”，拍着胸脯说“必须是B！我算过！”——即使答案是错的！ 论文 ：Multiple Choice Questions: Reasoning Makes Large Language Models (LLMs) More Self-Confident Even When They Are Wrong 链接 ：https://arxiv.org/pdf/2501.09775 这篇论文就是来扒一扒LLM的“迷之自信”。研究团队发现： 让AI先写推理再选答案，无论对错，它的自信心都会暴涨 ，甚至比人类更擅长“自我说服”。比如，当AI答错时，它的自信值提升幅度比答对时还高！这不禁让人怀疑：AI是不是偷偷学了《职场糊弄学》？   方法： 让AI“写小作文”再考试 研究者设计了两套考试模式： 直球模式 ：直接给答案（比如“选B”），AI内心OS：“我猜的，别骂我”。 小作文模式 ：先写三 ………………………………