NeurIPS'24 | Pcb-Merging：无需训练的多任务模型合并方案

文章预览

本文是对公开论文的核心提炼，旨在进行学术交流。如有任何侵权问题，请及时联系号主以便删除。 来源：晓飞的算法工程笔记 公众号，转载请注明出处 论文: Parameter Competition Balancing for Model Merging 论文地址：https://arxiv.org/abs/2410.02396 论文代码：https://github.com/duguodong7/pcb-merging 创新点 重新审视了现有的模型合并方法，强调参数竞争意识的关键作用。 提出了一种名为  的新方法，通过平衡参数竞争有效地调整参数系数。 提出的方法在各种应用场景中稳定并提升了模型合并性能，无需额外训练。 内容概述 尽管对预训练模型进行微调已成为一种常见做法，但这些模型在其特定领域之外往往表现不佳。最近模型融合技术使得能够将多个经过不同任务微调的模型直接集成到一个模型中，集成模型具备多任务能力而无需在原始数据集上进行重新训练。然而 ………………………………