【ICML2024教程】理解大型语言模型在规划中的作用，138页pdf

主要观点总结

本教程批判性地审视了大型语言模型（LLMs）在规划任务中的能力，关注它们是否具备抽象推理和规划能力。教程指出LLMs在生成需要通过组合搜索解决子目标交互的计划时的限制，同时也展示了其作为AI规划社区开发的健全规划器的互补技术的建设性用途。文章还涵盖了LLMs的背景知识、使用模式，以及其在自主模式、微调的影响、自我批判和验证能力的局限性等方面的内容。

关键观点总结

关键观点1: LLMs在规划任务中的能力

本教程批判性地审视了LLMs在规划任务中的帮助能力，包括在自主模式和辅助模式下的应用。特别关注了LLMs是否具备抽象推理和规划能力。

关键观点2: LLMs在生成计划时的限制

教程指出了LLMs在生成需要通过组合搜索解决子目标交互的计划时存在的基本限制。

关键观点3: LLMs作为AI规划器的互补技术

LLMs被展示为AI规划社区开发的健全规划器的互补技术，具有建设性用途。

关键观点4: LLMs的背景知识及使用模式

文章涵盖了LLMs的背景知识，包括其使用模式，如提示技术、区分transformer架构与预训练LLMs在规划中的使用等。

关键观点5: LLMs的局限性及与其他技术的联系

教程还讨论了LLMs在自我批判和验证能力方面的局限性，以及它们与基于案例和轻模型规划的联系，通过反向提示LLMs进行搜索等内容。

文章预览

大型语言模型（LLMs，或称“超级n-gram模型”）最初是通过在先前词窗口的上下文中反复预测下一个词来生成文本的，这一特性引起了人工智能（以及整个世界）社区的关注。部分原因在于它们能够为几乎任何领域的人类智力活动生成有意义的完成。这种多功能性也导致了这些预测文本完成系统可能具备抽象推理和规划能力的说法。在本教程中，我们批判性地审视LLMs在规划任务中的帮助能力——无论是在自主模式还是辅助模式下。我们特别关注在广泛研究的AI规划社区的问题和框架中，LLMs是否具备这些能力。 教程将指出LLMs在生成通常需要通过组合搜索来解决子目标交互的计划时的基本限制，同时也展示LLMs作为AI规划社区开发的健全规划器的互补技术的建设性用途。除了展示我们在该领域的工作外，我们还对许多相关研究进行了批判性综述，包括规 ………………………………