探索自然语言中的计划搜索：提升大型语言模型代码生成性能的新方法

文章预览

论文 ：Planning In Natural Language Improves LLM Search For Code Generation 链接 ：https://arxiv.org/pdf/2409.03733 研究背景 研究问题 本文研究了如何在大语言模型（LLMs）的推理计算中进行有效的搜索，以提高代码生成的性能。具体来说，作者发现当前LLMs在推理时缺乏多样性，导致搜索效率低下。 研究难点 该问题的研究难点包括： 如何在推理时增加LLMs输出的多样性 如何有效地利用这种多样性来提高搜索效果 相关工作 经典的搜索算法如广度优先搜索、深度优先搜索和A*搜索在路径规划、规划和优化中有广泛应用。近年来，蒙特卡罗树搜索（MCTS）在游戏领域取得了显著成功。在语言模型搜索方面，Beam搜索显著提高了翻译系统的性能，repeated sampling方法通过多次生成候选代码来提高性能，但这些方法主要关注输出空间的搜索，而非潜在的想法空间。 研究方法 本文提出 ………………………………