公理训练让LLM学会因果推理：6700万参数模型比肩万亿参数级GPT-4

文章预览

来源：机器之心 机器学习算法与自然语言处理 ‍ ‍ ‍ ‍ ‍ 本文 约3200字 ，建议阅读 9 分钟 本文要介绍的这项研究发现：在小图谱的因果传递性公理演示上训练的 Transformer 模型可以泛化用于大图谱的传递性公理。 把因果链展示给 LLM，它就能学会公理。 AI 已经在帮助数学家和科学家做研究了，比如著名数学家陶哲轩就曾多次分享自己借助 GPT 等 AI 工具研究探索的经历。AI 要在这些领域大战拳脚，强大可靠的因果推理能力是必不可少的。 本文要介绍的这项研究发现：在小图谱的因果传递性公理演示上训练的 Transformer 模型可以泛化用于大图谱的传递性公理。 也就是说，如果让 Transformer 学会执行简单的因果推理，就可能将其用于更为复杂的因果推理。该团队提出的公理训练框架是一种基于被动数据来学习因果推理的新范式，只有演示足够就能用 ………………………………