重复采样魔法：用更多样本击败单次尝试的最强模型

文章预览

这篇文章探讨了通过 增加生成样本的数量来扩展大型语言模型（LLMs）在推理 任务中的表现。 研究发现， 重复采样可以显著提高模型的覆盖率，特别是在具有自动验证工具的任务中 。研究还发现，覆盖率与样本数量之间的关系可以用 指数幂律 建模，揭示了推理时间的扩展规律。尽管多数投票和奖励模型在样本数量增加时趋于饱和，但在没有自动验证工具的任务中，识别正确样本仍然是一个重要的研究方向。 总体而言， 重复采样提供了一种有效的方法来增强较弱模型的能力 ，并在某些情况下比使用更强大、更昂贵的模型更具成本效益。 论文 ：Large Language Monkeys: Scaling Inference Compute with Repeated Sampling 链接 ：https://arxiv.org/pdf/2407.21787 研究背景 研究问题 ：这篇文章探讨了如何通过增加生成样本的数量来扩展推理计算，从而提高大型语言模型（LLMs） ………………………………