微软phi-4来啦！小模型之光，14B科学、代码等能力超70B模型效果！

文章预览

01 引言 微软研究院的最新成果——Phi-4来啦！近日，微软公布了Phi家族的最新一代模型Phi-4的技术报告，模型同步开源，Phi-4建立在合成数据集、过滤后的公共领域网站数据以及获得的学术书籍和问答数据集的基础上，训练数据量为9.8 T tokens, 目标是确保小模型使用专注于高质量和高级推理的数据进行训练。 本次推出的phi-4的模型参数量为14B，是一个稠密的Decoder-Only的Transformers模型, 上下文长度为16K tokens，开源协议为MIT。 phi-4经过严格的增强和调整过程，结合了监督微调和直接偏好优化，以确保精确的指令遵守和强大的安全措施。 模型链接： https://modelscope.cn/models/LLM-Research/phi-4/summary 技术报告： https://arxiv.org/pdf/2412.08905 预期用途 主要用例 Phi-4模型旨在加速语言模型的研究，作为生成式人工智能功能的构建模块。它为通用人工智能系统和应用程序（ ………………………………