SmolLM: 一个超快速、超高性能的小模型集合

文章预览

简介 本文将介绍 SmolLM 。它集合了一系列最尖端的 135M、360M、1.7B 参数量的小模型，这些模型均在一个全新的高质量数据集上训练。本文将介绍数据整理、模型评测、使用方法等相关过程。 SmolLM https://hf.co/collections/HuggingFaceTB/smollm-models-6695016cad7167254ce15966 引言 近期，人们对能在本地设备上运行的小语言模型的兴趣日渐增长。这一趋势不仅激发了相关业者对蒸馏或量化等大模型压缩技术的探索，同时也有很多工作开始尝试在大数据集上从头训练小模型。 微软的 Phi 系列、阿里巴巴的 Qwen2 (小于 2B 参数量) 以及 Meta 的 MobileLLM 均展示了这样的结论: 如果设计得当、训练充分，小模型也可以获得很好的性能。然而，这其中关于数据整理、训练细节的相关信息大多都未被披露。 在本文中，我们将介绍 SmolLM 。这是一个包含一系列最顶尖的小语言模型的集合， ………………………………