北京大学：利用好不确定性，8B小模型也能超越GPT-4

主要观点总结

本文探讨了大型语言模型（LLMs）的不确定性特点，通过对比贪婪解码和采样方法，发现贪婪解码在大多数任务中表现较好。文章还研究了不同基准测试、模型大小、对齐方法和解码参数对非确定性的影响，并指出LLMs的不确定性具有巨大潜力。通过“Best-of-N”策略，从多个采样响应中挑选最优答案，可以显著提升LLMs的性能。文章强调了在设计和评估模型时考虑解码方式的重要性。

关键观点总结

关键观点1: LLMs具有不确定性特点，相同输入在不同解码配置下可能生成显著不同的输出。

常用的解码策略包括贪婪解码和采样方法，两者各有优缺点。

关键观点2: 贪婪解码在大多数任务中通常优于采样方法。

通过“Best-of-N”策略，从多个采样响应中挑选最优答案，可以接近或超越大型模型的性能。

关键观点3: LLMs的不确定性具有巨大潜力。

文章提出利用这种不确定性，通过概率校准、优化偏好、集成学习或自一致性等策略提升模型性能。

关键观点4: 不同因素如模型大小、对齐方法和解码参数对非确定性有影响。

文章通过实验研究这些因素如何影响LLM的性能和输出多样性。

关键观点5: 文章强调了在设计和发展LLMs时考虑解码方式的重要性。

正确选择和应用解码策略对于提升模型性能和评估其全面能力至关重要。

文章预览

夕小瑶科技说 原创 作者 | 谢年年 大模型有一个显著的特点，那就是 不确定性 ——对于特定输入，相同的LLM在 不同解码配置 下可能生成显著不同的输出。 比如问一问chatgpt“今天开心吗？”，可以得到两种不同的回答。 常用的解码策略有两种，一个是贪婪解码，即永远选择概率最高的下一个token，另一种就是采样方法，根据概率分布随机选择下一个token，常常使用温度参数平衡响应质量和多样性。 那么，这两种方式哪个更好呢？北大的一篇论文给出了答案： 贪婪解码在大多数任务中通常优于采样方法。 另外作者还发现，LLMs的这种不确定性具有巨大潜力。通过采用“Best-of-N”策略，从多个采样响应中挑选最优答案的方式， Llama-3-8B-Instruct在MMLU、GSM8K和HumanEval上均超越GPT-4-Turbo 。 这是否可以说明，即使小模型单次回答可能不够准确，但多试几次， ………………………………