专栏名称: PaperAgent
日更,解读AI前沿技术热点Paper
目录
相关文章推荐
今天看啥  ›  专栏  ›  PaperAgent

微软一口气放出Phi-3系列三个模型(samll/medium/vision),开源可下载!

PaperAgent  · 公众号  ·  · 2024-05-22 15:37
    

文章预览

Microsoft推出了Phi-3 small(7B)、Phi-3 medium(14B)和 Phi-3 vision 。 中型模型与Mixtral 8x22B、Llama 3 70B竞争,并击败了Command R+ 104B和GPT 3.5。 huggingface上可下载 Phi-3 small 、 Phi-3  medi um 简述:  🧮 Phi-3小型7B,Phi-3中型14B,指令版本支持高达128k上下文  🏆 Phi-3小型(7B):在MMLU上得分75.5;在AGI评估上得分43.9(> Mistral 7B或Llama 3 8B)  🥇 Phi-3中型(7B):在MMLU上得分78.0;在AGI评估上得分50.2(> Cohere命令R+或GPT3.5-Turbo)  🧠 训练于4.8万亿个token,包括合成和过滤的公共数据集,支持多语言(训练数据的10%)  ⚖️ 经过SFT和DPO微调  🔡 新的分词器,词汇量为100,352  🔓 所有模型都在MIT下发布  🤗 在huggingface, Azure AI, 和ONNX上可用, 现在在MIT许可下可用! ❌ 没有发布基础模型  ❌ 关于数据集混合(多少合成,多少网络)没有详细信息 Phi-3 vision 简述:  📊 训 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览