基准数据集做大语言模型路由

文章预览

23年9月来自MIT和MIT-IBM实验室的论文“Large Language Model Routing with Benchmark Datasets”。 开源大语言模型 (LLM) 和基准数据集的数量正在迅速增长，可用于LLM性能比较。虽然有些模型在这些基准测试中占据主导地位，但没有一个模型通常能够在所有任务和用例中实现最佳准确率。这项工作的目的是，从一组模型中为新任务选择最佳 LLM。提出了一种新公式，其中基准数据集被重新用于学习 LLM 选择的“路由器”模型，并且该问题可以简化为二元分类任务集。分析从各种基准数据集中学习模型路由器的实用性和局限性，其中不断提高任何单一模型执行所有任务的性能。 选择最佳模型或模型选择，是统计学和机器学习中的经典话题（Bishop & Nasrabadi，2006；Hastie，2009；Raschka，2018）。然而，典型的问题设置却大不相同：交叉验证等经典方法旨在估计在总体分布的 ………………………………