主要观点总结
本文探究了transformers在做数学推理时采用的推理机制，并提出了Rule-Following Fine-Tuning（RFFT）的规则遵循微调方法来显式地教会transformers进行基于规则的推理。研究发现，transformers在数学推理中倾向于采用基于样例的推理（case-based reasoning），这限制了模型的泛化能力。因此，作者通过RFFT方法教模型进行基于规则的推理，并展示了其在增强模型长度泛化能力方面的潜力。同时，文章还探讨了其他因素如scratchpad、test square的位置和大小、模型大小和数据集大小等对模型推理行为的影响。
关键观点总结
关键观点1: Transformers在数学推理中主要采用基于样例的推理（case-based reasoning）。
通过干预实验，研究者发现transformers在解决数学推理问题时，倾向于依赖与测试样本相似的训练样例。这种现象在五个数学任务中均有所体现。
关键观点2: 基于规则的推理（rule-based reasoning）有助于提高模型的泛化能力。
通过Rule-Following Fine-Tuning（RFFT）方法，研究者教会了transformers进行基于规则的推理，从而提高了模型在长度泛化任务上的性能。
关键观点3: RFFT方法显著提升了模型在长度泛化任务上的性能。
在1-5位数的加法任务上训练的模型，通过RFFT方法能够成功泛化到更长的加法任务，如9位数甚至12位数的加法。
文章预览
点击上方 “ AINLPer “ ，设为 星标 更多干货，第一时间送达 引言 本文探究了 transformers 在做数学推理问题时究竟是采用 case-based reasoning 还是 rule-based reasoning，并提出了 Rule-Following Fine-Tuning 的规则遵循微调方法来显式地教会 transformers 进行 rule-based reasoning。RFFT 展现了强大的长度泛化能力，并有潜力全面提升 LLMs 的推理能力。 论文地址：https://arxiv.org/abs/2402.17709 项目主页：https://github.com/GraphPKU/Case_or_Rule 论文标题：Case-Based or Rule-Based: How Do Transformers Do the Math? Case-based or rule-based? 尽管如 ChatGPT 这样的大语言模型（Large Language Models, LLMs）已经在各种复杂任务中展现出令人惊艳的性能，它们在处理一些对人类来说十分简单的数学推理问题时仍会面临困难，例如长整数加法。 人类可以轻松地学习加法的 基本规则 ，例如竖式加法，并将其应用于任意长度的
………………………………
