无需额外训练，基于 Llama-2模型，通过 Model-GLUE 实现大规模语言模型的聚合与集成 ！

文章预览

备注好友： 方向-学校/公司-姓名/昵称 【AIGC 先锋科技】交流群 随着大型语言模型（LLMs）在各种任务和专业化领域中的出色表现，基于现有模型的LLM扩展引起了广泛关注，但当将不同模型结合时，性能可能会降低。 为了汇总预训练的LLM，已提出了各种技术，包括模型合并、混合专家和堆叠。 尽管它们具有优点，但尚未对它们进行全面比较和综合应用到多样化的模型动物园中。 鉴于这一研究空白，本文引入了Model-GLUE，这是一个全面的LLM扩展指南。 首先，作者的工作从现有的LLM扩展技术基准开始，特别是选择性合并和混合的变体。 利用基准结果的洞察，作者制定了一个策略，用于选择和汇总具有不同架构和初始化的异构模型动物园。作者的方法涉及可合并模型的聚类和最佳合并策略选择，以及通过模型混合将聚类集成在一起。 最后，通过在多样 ………………………………