高效大语言模型：综述

文章预览

23年12月论文“Efficient Large Language Models: A Survey“，来自Ohio State、英国伦敦帝国学院、Michigan State、AWS、谷歌、Boston AI、微软、Michigan大学等。 大语言模型（LLM）在自然语言理解、语言生成和复杂推理等重要任务中表现出了非凡的能力，并有可能对社会产生重大影响。 然而，这种能力伴随着它们所需的大量资源，突出表明迫切需要开发有效的技术来应对其效率挑战。 这个综述对高效的LLM研究进行了系统而全面的回顾。 将文献分类在三个主要类别，分别从以模型为中心、以数据为中心和以框架为中心的角度涵盖了高效LLM的主题。 定义的三个类别具体如下： •以模型为中心的方法：以模型为中心的方法侧重于算法级和系统级的高效技术，其中模型本身是焦点。LLM具有数十亿甚至数万亿的参数，与较小规模的模型相比，LLM表现出不同的特征[299]，这就需 ………………………………