大模型“取长补短”新思路入选NeurIPS'24，显著优于现有路由方法，南科大港科大出品

文章预览

MLNLP 社区是国内外知名的机器学习与自然语言处理社区，受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。 社区的愿景 是促进国内外自然语言处理，机器学习学术界、产业界和广大爱好者之间的交流和进步，特别是初学者同学们的进步。 转载自 | 量子位 作者 | RouterDC团队 高效组合多个大模型“取长补短”新思路，被顶会NeurIPS 2024接收。 名为RouterDC，是一种基于双重对比学习的路由架构，具有参数高效性（小于100M的参数）和计算高效性（不需要对于LLM进行梯度回传）的优势。 在具有挑战性语言理解、代码生成和数学推理等推理任务实验中，RouterDC在分布内（+2.76%）和分布外（+1.90%）设定下，都远超于现有的routing方法。 众所周知，LLM通常在不同数据集上预训练和微调，导致它们在不同任务上的性能强弱不同。 LLM路由则是一种组合多个LLM的 ………………………………