MindStar推理框架，无需新增数据让Llama2达到Llama3水平

文章预览

人工智能（AI）在过去十年里取得了长足进步，特别是在自然语言处理和计算机视觉领域。然而，如何提升 AI 的认知能力和推理能力，仍然是一个巨大的挑战。 近期，一篇题为《MindStar: Enhancing Math Reasoning in Pre-trained LLMs at Inference Time》的论文提出了基于树搜索的推理时间能力提升方法 MindStar [1]，该方法在开源模型 Llama-13-B 与 Mistral-7B 上达到了近似闭源大模型 GPT-3.5 与 Grok-1 在数学问题上的推理能力。 论文标题： MindStar: Enhancing Math Reasoning in Pre-trained LLMs at Inference Time 论文地址： https://arxiv.org/pdf/2405.16265v4 MindStar 在数学问题上的应用效果： 图 1 ：不同大型语言模型的数学准确率。LLaMA-2-13B 在数学性能上与 GPT-3.5 (4-shot) 类似，但节省了大约 200 倍的计算资源。 一、引言 随着模型规模的快速增长，基于 Transformer 的大型语言模型（LLMs）在指令遵循 [1,2] ………………………………