微软Phi-4封神，14B小模型数学击败GPT-4o！合成数据占比40%，36页技术报告出炉

主要观点总结

微软新一代小模型Phi-4发布，合成数据技术突破，数学性能超越GPT-4o，展现了强大的推理能力。Phi-4不仅在STEM问答上表现出色，而且在多个基准测试中赢得优势。

关键观点总结

关键观点1: Phi-4的特点和优势

微软新一代小模型Phi-4使用合成数据技术，实现了在数学性能上的突破，超越了GPT-4o。它展现了强大的推理能力，在STEM问答、数学竞赛等多个领域表现出色。Phi-4的成功也得益于其预训练和后训练技术的创新，以及合成数据的优势。

关键观点2: 合成数据技术的贡献

合成数据技术在Phi-4的训练中发挥了关键作用。通过生成结构化数据、规避数据污染问题，合成数据提高了模型的推理和问题解决能力。此外，合成数据还帮助模型在训练过程中更有效地学习，提高了模型的泛化性能。

关键观点3: Phi-4在基准测试中的表现

Phi-4在多项基准测试中表现出色，赢得了多个优势。在GPQA、MATH等STEM问答领域，其表现甚至超过了其教师模型GPT-4o。此外，在HumanEval和HumanEval+衡量的编码能力方面，Phi-4也比其他开源模型得分更高。

文章预览

   新智元报道   编辑：Yh 【新智元导读】 微软下一代14B小模型Phi-4出世了！仅用了40%合成数据，在数学性能上击败了GPT-4o，最新36页技术报告出炉。 140亿参数，40%合成数据，年度SLM之王诞生！ 最近，微软下一代小模型Phi-4正式亮相。在GPQA和MATH基准上，其数学性能直接碾压GPT-4o、Gemini Pro 1.5。 而且，Phi-4粉碎了其他小模型，与Llama-3.3-70B-Instruct的性能不相上下。 甚至，在2024 ACM数学竞赛问题上，Phi-4取得了91.8%准确率。 Phi系列前负责人Sebastien Bubeck看到这个结果后，感到非常惊讶。 下面这个例子，展示了Phi-4在数学推理方面的能力，不仅神速还准确。 深挖背后，Phi-4继承了Phi系列前几代的传统，同样是在教科书级别的「合成数据」上完成了训练。 合成数据比例高达40% 除了合成数据，它共实现了三大核心技术突破，包括精选的原生数据，以及领先的 ………………………………