微软Phi-4封神，14B小模型数学击败GPT-4o！合成数据占比40%，36页技术报告出炉

文章预览

   新智元报道   编辑：Yh 【新智元导读】 微软下一代14B小模型Phi-4出世了！仅用了40%合成数据，在数学性能上击败了GPT-4o，最新36页技术报告出炉。 140亿参数，40%合成数据，年度SLM之王诞生！ 最近，微软下一代小模型Phi-4正式亮相。在GPQA和MATH基准上，其数学性能直接碾压GPT-4o、Gemini Pro 1.5。 而且，Phi-4粉碎了其他小模型，与Llama-3.3-70B-Instruct的性能不相上下。 甚至，在2024 ACM数学竞赛问题上，Phi-4取得了91.8%准确率。 Phi系列前负责人Sebastien Bubeck看到这个结果后，感到非常惊讶。 下面这个例子，展示了Phi-4在数学推理方面的能力，不仅神速还准确。 深挖背后，Phi-4继承了Phi系列前几代的传统，同样是在教科书级别的「合成数据」上完成了训练。 合成数据比例高达40% 除了合成数据，它共实现了三大核心技术突破，包括精选的原生数据，以及领先的 ………………………………