合并、集成、合作！大语言模型时代的协作策略综述

文章预览

24年7月来自中科院自动化所、中科大、南京科大和武汉AI研究院的论文“Merge, Ensemble, and Cooperate! A Survey on Collaborative Strategies in the Era of Large Language Models”。 大语言模型 (LLM) 的巨大成功将自然语言处理 (NLP) 研究带入了一个新时代。尽管 LLM 功能各异，但在不同语料库上训练的 LLM 表现出不同的优点和缺点，导致在最大限度地提高其整体效率和多功能性方面面临挑战。为了应对这些挑战，最近的研究探索 LLM 的协作策略。本文全面概述这一新兴研究领域，强调了这种协作背后的动机。具体来说，协作策略分为三种主要方法：合并、集成和合作。合并涉及在参数空间中集成多个 LLM。集成结合各种 LLM 的输出。合作利用不同的 LLM 充分发挥其针对特定任务的不同功能。从不同角度深入介绍这些方法，并讨论潜在应用。此外，概述未来的研究方向。 人类早已 ………………………………