LLMs和ARC，基于对象表示的重要性

文章预览

LLMs and the Abstraction and Reasoning Corpus: Successes, Failures, and the Importance of Object-based Representations LLMs和抽象与推理语料库:成功、失败和基于对象表示的重要性 https://arxiv.org/abs/2305.18354v2 https://khalil-research.github.io/LLM4ARC 摘要 大型语言模型（LLM）能否解决简单的抽象推理问题？我们通过对GPT在抽象推理语料库（ARC）上的系统分析来探讨这个广泛的问题（Chollet, 2019年），ARC是一个代表性的抽象推理能力基准，它要求从有限的示例中找出解决方案，这些解决方案需要一些 关于对象、目标状态、计数和基本几何等概念的“核心知识”。 在使用二维输入输出网格的文本编码时，GPT-4只解决了50个最直接ARC任务中的13个。我们的失败分析揭示了 GPT-4识别对象并推理它们的能力在很大程度上受到任务文本编码中代表对象的文本顺序性质的影响 。为了验证这个假设，我们 ………………………………