小模型已成趋势？

文章预览

来源：机器之心 上周，OpenAI 上线小模型 GPT-4o-mini，小模型赛道正式开卷。近期加入这一赛道的还有苹果。 最近，苹果公司作为 DataComp-LM（DCLM）项目的研究机构之一，在  Hugging Face  上发布了 DCLM-7B 开源模型。该模型性能已经超越了 Mistral-7B，并且正在逼近其他领先的开源模型，包括 Llama 3 和 Gemma。 论文链接：https://arxiv.org/pdf/2406.11794 项目链接：https://huggingface.co/apple/DCLM-7B 论文作者之一、苹果机器学习团队 Vaishaal Shankar 将 DCLM 模型描述为「真正开源的最佳模型」，因为 DCLM 不仅开源了模型权重，还开源了训练代码和预训练数据集。 研究介绍 大型语言模型（LLM）目前面临的一个评估挑战是缺乏受控比较。LLM 研究通常会比较采用不同架构、计算或超参数的模型，因此难以理清影响语言模型质量的因素。 基于此，研究团队提出了语言模型数据比较新 ………………………………