🚀来自 NVIDIA 的好消息。他们刚刚推出了 Mistral-20240822081407

文章预览

2024-08-22 08:14 本条微博链接 🚀来自 NVIDIA 的好消息。 他们刚刚推出了 Mistral-NeMo-Minitron 8B 基础模型 🏆在多个基准测试中表现优于 Llama 3.1 8B 和 Gemma 7B。 🔧通过宽度修剪 Mistral NeMo 12B 创建 👨🔧修剪和知识提炼是秘诀 💰成本效益：与从头开始训练相比，训练 token 减少了 40 倍 🔓基础模型已在 Hugging Face 上开放获取 🛠️将在 NVIDIA NeMo 框架中推出 ----- 💡修剪和知识蒸馏细节 - 8B 模型是通过对 Mistral NeMo 12B 基础模型进行宽 ………………………………