大模型不懂得谦虚-越大的模型错误越多，该如何让大模型变得正直

文章预览

，这周四的Nature主刊上，关于大模型参数越大，越容易出差的研究，吸引了笔者的关注。这项研究对比了不同参数量的开源的llama2，bloom以及闭源的chatGPT，针对数学计算，逻辑推理，空间位置以及科学知识等偏理科的问题，考察模型的性能。结果显示，大模型果然能将过去几乎没有概率正确回答的问题以一定概率回答，但出现了下面反常现象，导致模型店准确率反而由于参数的增加而下降。 该研究将大模型的回复分为了正确，错误以及回避（承认自己答不出）。在较小参数的模型中，模型虽然无法回答，但会回避问题，然而较大参数的模型，举一个例子：虽然将正确回答的概率从1%提升到了60%，但回避问题的概率变为了10%，剩下的30%模型会回答错误；而小参数的模型会有90%的概率回避问题，这导致的结果就是模型参数变大后，反而答错的概率变大 ………………………………