10行代码让大模型数学提升20%，“野路子”研究谷歌也测上了，主要作者全靠自学成才

文章预览

MLNLP 社区是国内外知名的机器学习与自然语言处理社区，受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。 社区的愿景 是促进国内外自然语言处理，机器学习学术界、产业界和广大爱好者之间的交流和进步，特别是初学者同学们的进步。 转载自 | 量子位 作者 | 克雷西 只要不到10行代码，就能让大模型数学能力（GSM8k）提升20%！ 几名独立学者提出了大模型采样的改进方案，引起了开源社区的关注。 目前该方法已在Mistral-7B上取得成效，在Llama3-70B上的测试也正在进行。 这种方法叫做最小p采样（min-p sampling），目的是平衡生成文本的连贯性和多样性。 简单说就是让模型在不同场合发挥不同的特性，例如在事实问题上保持性能稳定，在写作等场景中又能发挥创意。 目前该方法已在Mistral-7B上取得成效，在Llama-70B上的测试也即将进行。 在论文中作 ………………………………