小型语言模型综述

文章预览

小型语言模型（SLMs）因其高效性和在执行各种语言任务时所需的计算资源较少，变得越来越重要，使它们非常适合于包括设备端、移动设备、边缘设备等多种场景。在本文中，我们对小型语言模型进行了全面的综述，重点介绍了它们的架构、训练技术和模型压缩技术。 我们提出了一种新的分类法，用于归类优化SLMs的方法，包括模型压缩、剪枝和量化技术。我们总结了适用于小型语言模型基准测试的标准数据集，以及常用的评估指标。此外，我们还强调了尚待解决的关键开放性挑战。 本综述旨在为有兴趣开发和部署小型高效语言模型的研究人员和从业者提供宝贵的资源。 1 引言 尽管大型语言模型（LLMs）在广泛的基准测试和现实场景中展示了出色的性能，它们的成功却伴随着显著的成本。LLMs 的训练和运行资源密集，需耗费大量计算和数据资源。 ………………………………