大模型已过时，小模型 SLM 才是未来？苹果正在研究这个

文章预览

转自 | 机器之心 手机还是更适合小模型 大模型虽然好，但我的笔记本和手机都跑不动呀。 就算勉强能跑起来，也是奇慢无比。 而与此同时，对适合移动和边缘设备的小模型的需求却在不断增长，因为这些模型似乎才能真正满足人们的日常需求。 正因为此，有不少研究者和应用开发者都认为小模型才是 AI 的未来。 事实上，Meta 和 Mistral 等都已经发布了自己的 SLM，比如 Llama 3.2 的 1B 和 3B 版本以及 Ministral 3B。另外还有一些社区开发的 SLM，比如 BabyLlama 系列（不到 1B 参数）、 TinyLLaMA（1.1B 参数）。 为了打造出真正好用的小型语言模型（SLM），AI 研究社区想出了各种各样的方法，像是对大模型进行蒸馏或量化或者就直接去训练性能优异的小模型。 实际上， SLM 正在逐渐成为一个研究热门方向，简单检索 arXiv 上的关键词也能大致看见这一趋势：9 和 10 ………………………………