小型语言模型综述

文章预览

点击上方“ 图灵人工智能 ”，选择“星标”公众号 您想知道的人工智能干货，第一时间送达                           less is more?  近期苹果公司热衷于研究小型语言模型（SLMs），因其高效性和在执行各种语言任务时所需的计算资源较少，变得越来越重要，使它们非常适合于包括设备端、移动设备、边缘设备等多种场景。 在本文中，我们对小型语言模型进行了全面的综述，重点介绍了它们的架构、训练技术和模型压缩技术。 1 引言 尽管大型语言模型（LLMs）在广泛的基准测试和现实场景中展示了出色的性能，它们的成功却伴随着显著的成本。LLMs 的训练和运行资源密集，需耗费大量计算和数据资源。这通常意味着它们的训练和推理都需要在集中化和专业化的硬件上进行。 为了应对这些挑战，越来越多的研究开始关注小型语言模型（SLMs）。小型 ………………………………