Llama 3.2 可能不是昨天最有趣的多模式版本。 🤔来自@-20240927080542

文章预览

2024-09-27 08:05 本条微博链接 Llama 3.2 可能不是昨天最有趣的多模式版本。 🤔来自 @allen_ai 的 Molmo 优于 Llama 3.2，可在 Apache 2.0 和欧盟使用，将发布其数据、创建的自定义 ELO 评估，以及比 mllama3.2 更简单的架构，据推测与 flash 注意力兼容。 👀 🧮 4 个变体，具有 7B MoE（A1B）、2x 7B 和 72B 版本 🤗在 @huggingface ⛰️ Molmo 72B 上根据 Apache 2.0 发布的所有模型均基于 Qwen2-72B，并使用 OpenAI CLIP 作为视觉主干 🗻 Molmo 7B 使用 Qwen2 7B ………………………………