小模型还有用么？帝国理工等《LLM 时代小模型的作用》综述

文章预览

大型语言模型（LLMs）在推动通用人工智能（AGI）方面取得了显著进展，促使诸如GPT-4和LLaMA-405B等越来越大的模型相继问世。然而，模型规模的扩大导致计算成本和能源消耗呈指数级增长，使得这些模型对于资源有限的学术研究人员和企业而言变得不切实际。 同时，小模型（SMs）在实际应用中经常使用，但其重要性目前被低估了。这引发了关于小模型在大型语言模型时代中作用的重要问题，而这一主题在以往研究中受到了较少的关注 。在本工作中，我们从协作和竞争这两个关键角度系统地研究了LLMs和SMs之间的关系。我们希望本次调研能为从业者提供有价值的见解，帮助加深对小模型贡献的理解，并促进更高效的计算资源使用。 代码可在以下网址获取： https://github.com/tigerchen52/role_of_small_models 1 引言 近年来，大型语言模型（LLMs）的快速发展彻底改 ………………………………