开源模型进展盘点：最新Mixtral、Llama 3、Phi-3、OpenELM到底有多好？

文章预览

机器之心报道 编辑：Panda 深度学习领域知名研究者、Lightning AI 的首席人工智能教育者 Sebastian Raschka 对 AI 大模型有着深刻的洞察，也会经常把一些观察的结果写成博客。在一篇 5 月中发布的博客中，他盘点分析了 4 月份发布的四个主要新模型：Mixtral、Meta AI 的 Llama 3、微软的 Phi-3 和苹果的 OpenELM。他还通过一篇论文探讨了 DPO 和 PPO 的优劣之处。之后，他分享了 4 月份值得关注的一些研究成果。 Mixtral、Llama 3 和 Phi-3：有什么新东西？ 首先，从最重要的话题开始：4 月发布的主要新模型。这一节将简要介绍 Mixtral、Llama 3 和 Phi-3。下一节将会更详细地介绍苹果的 OpenELM。 Mixtral 8x22B：模型越大越好！ Mixtral 8x22B 是 Mistral AI 推出的最新款混合专家（MoE）模型，其发布时采用了宽松的 Apache 2.0 开源许可证。 这个模型类似于 2024 年发布的 Mixtral 8x7B，其背后的 ………………………………