苹果小模型来了：权重、代码、数据集全开源，性能超越Mistral-7B

文章预览

点击蓝字 关注我们 关注并星标 从此不迷路 计算机视觉研究院 公众号ID ｜ 计算机视觉研究院 学习群 ｜ 扫码在主页获取加入方式 论文链接：https://arxiv.org/pdf/2406.11794 项目链接：https://huggingface.co/apple/DCLM-7B 计算机视觉研究院专栏 Column of Computer Vision Institute 小模型成趋势？ 本周，OpenAI 上线小模型 GPT-4o-mini，小模型赛道正式开卷。近期加入这一赛道的还有苹果。 最近，苹果公司作为 DataComp-LM（DCLM）项目的研究机构之一，在 Hugging Face 上发布了 DCLM-7B 开源模型。该模型性能已经超越了 Mistral-7B，并且正在逼近其他领先的开源模型，包括 Llama 3 和 Gemma。 论文作者之一、苹果机器学习团队 Vaishaal Shankar 将 DCLM 模型描述为「真正开源的最佳模型」，因为 DCLM 不仅开源了模型权重，还开源了训练代码和预训练数据集。 研究介绍 大型语言模型（LLM）目前面临 ………………………………