文章预览
Microsoft推出了Phi-3 small(7B)、Phi-3 medium(14B)和 Phi-3 vision 。 中型模型与Mixtral 8x22B、Llama 3 70B竞争,并击败了Command R+ 104B和GPT 3.5。 huggingface上可下载 Phi-3 small 、 Phi-3 medi um 简述: 🧮 Phi-3小型7B,Phi-3中型14B,指令版本支持高达128k上下文 🏆 Phi-3小型(7B):在MMLU上得分75.5;在AGI评估上得分43.9(> Mistral 7B或Llama 3 8B) 🥇 Phi-3中型(7B):在MMLU上得分78.0;在AGI评估上得分50.2(> Cohere命令R+或GPT3.5-Turbo) 🧠 训练于4.8万亿个token,包括合成和过滤的公共数据集,支持多语言(训练数据的10%) ⚖️ 经过SFT和DPO微调 🔡 新的分词器,词汇量为100,352 🔓 所有模型都在MIT下发布 🤗 在huggingface, Azure AI, 和ONNX上可用, 现在在MIT许可下可用! ❌ 没有发布基础模型 ❌ 关于数据集混合(多少合成,多少网络)没有详细信息 Phi-3 vision 简述: 📊 训
………………………………