小模型在大语言模型时代重要角色和作用综述：合作、竞争、权衡、趋势

文章预览

大型语言模型（LLMs）在推进人工通用智能（AGI）方面取得了显著进展，促进了像GPT-4和LLaMA-405B这样越来越大的模型的发展。然而，模型规模的扩大导致计算成本和能源消耗呈指数级增长，使得这些模型对于资源有限的学术研究人员和企业来说不切实际。与此同时，小型模型（SMs）在实际应用中经常被使用，尽管它们的重要性目前被低估了。这引发了关于LLMs时代小型模型角色的重要问题，这是以往研究中很少关注的话题。在本项工作中，我们系统地从两个关键角度检视了LLMs和SMs之间的关系：合作与竞争。我们希望这项调查能为从业者提供有价值的见解，促进对小型模型贡献的更深层次理解，并促进计算资源的更有效利用。 我们翻译解读最新论文： 大型语言模型时代小型模型的角色，文末有论文链接。 作者： 张长旺，图源： 旺知识 1 引言 近年来 ………………………………