主要观点总结
微软在最新的创新算法rStar-Math的助力下，使得小模型的数学推理能力超过了一些大模型。通过代码增强CoT、蒙特卡洛树搜索等，rStar-Math能够在不依赖蒸馏教师模型的情况下，通过多轮自我进化的深度思维掌握数学推理。在多个基准测试中，rStar-Math的表现超越了OpenAI o1-preview和其他开源大模型。本文介绍了rStar-Math的关键技术细节和实验评估结果。
关键观点总结
关键观点1: rStar-Math通过创新算法提升了小模型的数学推理能力。
微软最新的rStar-Math算法通过蒙特卡洛树搜索、过程奖励模型训练方法等技术，使得小模型在数学推理方面展现出强大的能力。该算法在多个基准测试中超越了其他大模型和开源模型。
关键观点2: rStar-Math的技术细节。
rStar-Math采用了代码增强CoT数据合成方法、过程奖励模型训练方法以及四轮自我思维深度进化等技术。通过广泛的MCTS部署，生成具有自我注释的MCTS Q值的逐步验证推理轨迹。同时，利用PPM（过程偏好模型）为数学推理步骤提供细粒度的反馈。
关键观点3: rStar-Math的实验评估结果。
实验结果表明，rStar-Math显著提高了SLM的数学推理能力，在多个基准测试中实现了与OpenAI o1相当甚至超越的性能。与最先进的推理模型相比，rStar-Math表现出强大的通用性和优越性。
文章预览
衡宇 发自 凹非寺 量子位 | 公众号 QbitAI 7B参数的Qwen2.5数学推理表现超过o1-preview，这是怎么做到的？！ 靠的就是MSRA最新的创新算法， rStar-Math 。 通过代码增强CoT、蒙特卡洛树搜索 （MCTS） 等， rStar-Math能让小·大模型在不依赖蒸馏教师模型的情况下，通过多轮自我进化的深度思维，掌握数学推理。 并且战功赫赫： 在美国数学竞赛AIME 2024测试中，rStar-Math平均解决了53.3%的难题 （OpenAI o1-preview为44.6%） ， 打败所有其它开源大模型 ，一举成为最聪明的高中生数学top20%。 在MATH基准测试中，rStar-Math将阿里开源大模型Qwen2.5-Math-7B的准确率，从58.8%拉升到90.0%；Qwen2.5-Math-1.5B的准确率从51.2%拉升到87.8%；Phi3-mini-3.8B的准确率从41.4%提高到86.4% ——这些成绩全部全部超过了OpenAI o1-preview。 就说牛不牛吧！ 小声说，微软最近有一股在小·大模型 圈子里重拳出击的态
………………………………
