主要观点总结
本文探讨了大型模型在数学问题上的表现，通过定位到多层感知机（MLP）中的单个神经元，解释了大型模型进行数学运算的具体过程。研究发现，大型模型能够依靠少数神经元解决算术问题，这些神经元实现了简单的启发式算法。文章还分析了模型为何会出错，并指出了解大模型的算术运算有助于改进模型的数学能力。
关键观点总结
关键观点1: 大型模型在数学问题上的表现不佳，但能够通过定位到单个神经元来解释其运行机制。
最近的研究能够在单个神经元层面上解释大型模型的运行机制，通过分解模型中的神经元，揭示出模型进行数学运算的启发式算法。
关键观点2: 研究发现少数神经元对大模型解决算术问题有显著影响。
研究定位了大型模型中负责算术计算的模型子集，发现少数注意力头对大模型面对算术问题的正确率有显著影响。只需要关注特定的极少量神经元，就能正确预测大模型进行算术运算的结果。
关键观点3: 大型模型的算术运算依赖于启发式方法集。
研究结果表明，大型模型的算术运算不是通过记忆或规则学习，而是依赖于一组启发式方法。提高大模型的数学能力可能需要训练和架构的根本性改变。
关键观点4: 大型模型的算术神经元在训练过程中逐渐发展。
通过对训练过程的分析，研究发现大型模型在训练早期就学会了这些启发式方法，并随时间推移逐渐强化。这可能会导致模型过度拟合到早期的简单策略。
文章预览
新智元报道 编辑：peter东 乔杨 【新智元导读】 大模型在数学问题上的表现不佳，原因在于采取启发式算法进行数学运算的，通过定位到多层感知机（MLP）中的单个神经元，可以对进行数学运算的具体过程进行解释。 由于缺少对运行逻辑的解释，大模型一向被人称为「黑箱」，但近来的不少研究已能够在单个神经元层面上解释大模型的运行机制。 例如Claude在2023年发表的一项研究，将大模型中大约500个神经元分解成约4000个可解释特征。 而10月28日的一项研究，以算术推理作为典型任务，借鉴类似的研究方法，确定了大模型中的一个模型子集，能解释模型大部分的基本算术逻辑行为。 论文地址：https://arxiv.org/abs/2410.21272 该研究首先定位了Llama3-8B/70B, Pythia-6.9B及GPT-J四个模型中负责算术计算的模型子集。 如图1所示，少数注意力头对大模型面对
………………………………
