Phi 开始使用 MoE！ @Microsoft刚刚发布了 Ph-20240821093002

文章预览

2024-08-21 09:30 本条微博链接 Phi 开始使用 MoE！ @Microsoft 刚刚发布了 Phi-3.5-MoE，这是一个基于 Phi-3 使用的数据集构建的 42B 参数 MoE。Phi-3.5 MoE 在推理能力方面优于更大的模型，仅次于 GPT-4o-mini。 👀 总结 🧮 42B 个参数，其中 6.6B 在生成过程中被激活 👨🏫 16 位专家，其中 2 位活跃于世代 🪟用 128k 上下文指导模型 🚀在各项基准测试中均优于 Llama 3 8b 、Gemma 2 9B 🥈紧随 GPT-4o mini 之后，但优于 Gemini 1.5 Flash 🌎多语言支持（ ………………………………