《大语言模型时代的小型语言模型综述：技术、增强、应用、与大语言模型的合作及可信度》

文章预览

MLNLP 社区是国内外知名的机器学习与自然语言处理社区，受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。 社区的愿景 是促进国内外自然语言处理，机器学习学术界、产业界和广大爱好者之间的交流和进步，特别是初学者同学们的进步。 转载自 | 专知 链接：https://arxiv.org/abs/2411.03350 大语言模型（LLM）在文本生成、问答和推理等任务中展现了突现能力，推动了各类任务和领域的发展。尽管LLM在多种任务上表现出色，但像LaPM 540B和Llama-3.1 405B这样的LLM由于参数规模庞大和计算需求高，面临一些限制，这通常需要依赖云API，这带来了隐私问题，限制了在边缘设备上的实时应用，并且增加了微调成本。此外，LLM在健康医疗、法律等专业领域的表现往往不足，原因在于缺乏足够的领域特定知识，这就需要专门化的模型。因此，小型语言模型（SLM）因 ………………………………