思维树：大模型的复杂推理技术

文章预览

论文标题：Tree of Thoughts: Deliberate Problem Solving with Large Language Models 论文链接：https://arxiv.org/abs/2305.10601 论文来源：arXiv 一、概述 语言模型(LM)比如GPT、PaLM等，虽然最初是为生成文本而设计，但它们的大规模版本已经显示出了越来越强的多任务推理能力，可以进行数学、符号、常识和知识推理。或许令人惊讶的是，所有这些进步的底层仍然是最初的在文本生成中的自回归机制，它逐个词地、从左到右地做出决策。这样一个简单的机制是否足以构建一个通用问题求解器？如果不够，会有哪些问题挑战现有范式？又需要什么替代机制？ 关于人类认知的研究提供了一些线索来回答这些问题。“双进程(dual process)”模型的研究表明，人们在做决策时有两种模式 —— 一种是快速、自动、无意识的(fast, automatic, unconscious)模式(“系统1”)，一种是慢速、经过深思 ………………………………