大语言模型真的擅长逻辑推理吗

文章预览

[IEEE TKDE] 大型语言模型真的擅长逻辑推理吗 ? 论文题目 ：Are Large Language Models Really Good Logical Reasoners? A Comprehensive Evaluation and Beyond 作者机构 ：西安交通大学、新加坡南洋理工大学 论文链接 ：https://arxiv.org/abs/2306.09841 数据集链接 ：https://github.com/DeepReasoning/NeuLR 背景 在人工智能和自然语言处理的浪潮下，大型语言模型（LLMs）正以前所未有的速度发展。它们在各种任务中表现出色，从文本生成到信息检索，几乎无所不能。然而，当涉及到真正的逻辑推理能力时，LLMs 真的能像人类一样进行严谨的推理吗？本研究针对这一问题，构建了系统化的评估体系，并提出了一系列创新性的分析方法，以揭示 LLMs 在逻辑推理方面的真实能力。 全面评估 LLMs 的逻辑推理能力 本研究首次在大规模逻辑推理任务上，对 LLMs 进行了全方位、多角度的评估。研究团队选取了 ………………………………