大模型如何融合？东北大学等最新《在大语言模型（LLM）、多模态大语言模型（MLLM）及其他领域模型融合：方法、理论、应用与机遇》

文章预览

模型融合是机器学习社区中的一种高效赋能技术，它不需要收集原始训练数据，也不需要昂贵的计算 。随着模型融合在各个领域中变得越来越普遍，全面了解现有的模型融合技术变得至关重要。然而，文献中在系统且深入地审视这些技术方面存在显著的空白。 本综述提供了对模型融合方法和理论的全面概述，涵盖了它们在各个领域和场景中的应用，以及未来的研究方向 。具体而言，我们首先提出了一种新的分类方法，对现有的模型融合方法进行了详尽的讨论。其次，我们讨论了模型融合技术在大语言模型、多模态大语言模型以及10多个机器学习子领域中的应用，包括持续学习、多任务学习、少样本学习等。最后，我们强调了模型融合的剩余挑战，并讨论了未来的研究方向。关于模型融合的论文完整列表请参见\url{this https URL}。 模型融合，也称为 ………………………………