大模型连乘法都不会做？一系列新研究再次挑战AI推理能力

主要观点总结

本文介绍了大语言模型在算术处理上的研究和探讨，包括空间基数、标签空间熵和子群质量等维度的研究，以及大模型在数学运算中的底层逻辑和启发式规则的发现。同时，文章还探讨了OpenAI-o1模型在推理能力上的提升以及COT技术在其中的作用。

关键观点总结

关键观点1: 大语言模型在处理算术时的独特方法

大语言模型在进行算术运算时并没有采用我们熟知的计算规则，而是自行发现一些符号上的统计规律。这种独特的模式识别方法被称为“符号学习者”，而非“逻辑学习者”。

关键观点2: 大模型数学运算的底层逻辑

大模型在进行数学运算时，通过自回归预测的方式，利用子群逻辑去计算。子群复杂度越低，模型的正确率越高。这种底层逻辑体现在模型的准确率呈U形分布，即头尾数字的准确率远高于中间数字。

关键观点3: 启发式规则的发现

通过探测激活神经元，研究者发现了处理数学计算的核心神经元——多层感知器（MLP）。这些神经元在进行数据预测时会被激活，它们通过一些启发式规则来识别计算结果。这些规则包括范围启发式、取模启发式、模式启发式等。

关键观点4: OpenAI-o1模型在推理能力上的提升

OpenAI-o1模型通过融入COT（思维链）技术，提升了其推理能力。COT技术能够将复杂问题拆解成简单步骤，使得大语言模型能够完成更复杂的数学计算。然而，这种提升是否真正意味着模型学会了数学规则，还是仅仅进行了模式匹配，仍需进一步探讨。

免责声明