ICML 2024 | Transformer究竟如何推理？基于样例还是基于规则

文章预览

©作者 |  胡逸 单位 |  北京大学 研究方向 |  图机器学习 论文标题：  Case-Based or Rule-Based: How Do Transformers Do the Math? 论文地址：  https://arxiv.org/abs/2402.17709 项目主页：  https://github.com/GraphPKU/Case_or_Rule Case-based or rule-based? 尽管如 ChatGPT 这样的大语言模型（Large Language Models, LLMs）已经在各种复杂任务中展现出令人惊艳的性能，它们在处理一些对人类来说十分简单的数学推理问题时仍会面临困难，例如长整数加法。 人类可以轻松地学习加法的 基本规则 ，例如竖式加法，并将其应用于任意长度的新的加法问题，但 LLMs 却难以做到这一点。相反，它们可能会依赖于训练语料库中见过的 相似样例 来帮助解决问题。 来自 北京大学张牧涵团队的 ICML 2024 论文 深刻研究了这一现象。研究者们将这两种不同的推理机制定义为 “基于规则的推理”（rule-based reasoning ………………………………