《大语言模型时代的小型语言模型综述：技术、增强、应用、与大语言模型的合作及可信度》

文章预览

大语言模型（LLM）在文本生成、问答和推理等任务中展现了突现能力，推动了各类任务和领域的发展。尽管LLM在多种任务上表现出色，但像LaPM 540B和Llama-3.1 405B这样的LLM由于参数规模庞大和计算需求高，面临一些限制，这通常需要依赖云API，这带来了隐私问题，限制了在边缘设备上的实时应用，并且增加了微调成本。此外，LLM在健康医疗、法律等专业领域的表现往往不足，原因在于缺乏足够的领域特定知识，这就需要专门化的模型。因此，小型语言模型（SLM）因其低推理延迟、成本效益高、开发效率高、易于定制和适应性强，逐渐受到青睐。这些模型特别适用于资源有限的环境和领域知识的获取，能够有效应对LLM面临的挑战，且非常适合需要本地数据处理以保证隐私、最小推理延迟以提高效率、以及通过轻量级微调获取领域知识的应用。SLM需求的 ………………………………