重磅！微软开源最强小模型Phi-4，超GPT-4o、可商用

主要观点总结

文章介绍了微软开源的小参数模型phi-4，该模型在多个基准测试中表现优异，超过了GPT-4o和其他同类模型。phi-4使用合成数据和有机数据进行预训练，并采用特定的数据混合策略、上下文长度扩展、监督微调（SFT）和直接偏好优化（DPO）等技术进行优化。该模型支持MIT许可证下的商业用途，并且已经在Azure上实现无服务器功能。

关键观点总结

关键观点1: 微软开源的小参数模型phi-4，参数只有140亿，性能极强。

phi-4在GPQA、MATH等基准测试中超过了GPT-4o和其他同类模型。

关键观点2: phi-4使用合成数据和有机数据进行预训练，并采用数据混合策略。

合成数据对模型的学习和推理过程有很大帮助，有机数据则为模型提供了丰富的知识储备。

关键观点3: phi-4在预训练过程中采用了多种技术进行优化。

包括上下文长度扩展、监督微调（SFT）、直接偏好优化（DPO）等。

关键观点4: phi-4支持MIT许可证下的商业用途，并且已经在Azure上实现无服务器功能。

这意味着更多的开发者可以使用phi-4来开发和部署他们的应用程序。

文章预览

专注AIGC领域的专业社区，关注微软 、百度文心一言、讯飞星火等大语言模型（LLM）的发展和 应用 落地，聚焦LLM的市场研究和AIGC开发者生态，欢迎关注！ 今天凌晨，微软研究院开源了目前最强小参数模型——phi-4。 去年12月12日，微软首次展示了 phi-4 ，参数只有140亿性能却极强，在GPQA研究生水平、MATH数学基准测试中，超过了OpenAI的GPT-4o，也超过了同类顶级开源模型Qwen 2.5 -14B和Llama-3.3-70B。 在美国数学竞赛AMC的测试中 phi-4 更是达到了91.8分，超过了Gemini Pro 1.5、GPT-4o、Claude 3.5 Sonnet、Qwen 2.5等知名开闭源模型，甚至整体性能可以与4050亿参数的Llama-3.1媲美。 当时很多人就希望微软开源这款超强的小参数模型，甚至还有人在HuggingFace上传盗版的 phi-4 权重。现在，终于开源了，并且支持MIT许可证下商业用途。 开源地址：https://huggingface.co/microsoft/phi-4/tree/ma ………………………………