文章预览
大数据文摘授权转载自夕小瑶科技说
作者 | 付奶茶 家人们!微软又用爱发电了!一觉醒来,微软发布了最新的小模型三兄弟: Phi-3.5-MoE-instruct Phi-3.5-mini-instruct Phi-3.5-vision-instruct 三兄弟的表现可以说是相当的不错,其中,Phi-3.5-MoE 在基准测试中击败了 Llama 3.1 8B、Mistral-Nemo-12B,Gemini 1.5 Flash。在推理能力方面它也优于其他一些较大的模型,仅落后于 GPT-4o-mini,直接分分钟登顶同级模型! 真不错呀!让奶茶带大家看一下! 不同用途不同选择! 三个Phi 3.5模型有不同的专长! Phi-3.5 MoE - 微软专家大集合 大哥Phi-3.5 MoE 是一个混合专家模型,将多个不同的模型类型组合成一个,其中每个模型类型专门从事不同的任务。该模型有420亿个活动参数的架构,支持128k token上下文长度。 划重点: 6.6B 活动参数(总参数42B) 128K 上下文、多语言和相同分词器 在 4.9
………………………………