ROUTERBENCH：多 LLM 的路由系统基准

文章预览

24年3月来自martian公司（ https://withmartian.com/ ）、UC Berkeley和UCSD的论文“ROUTERBENCH: A Benchmark for Multi-LLM Routing System”。 随大语言模型 (LLM) 的应用范围不断扩大，对有效服务解决方案的需求也变得越来越关键。尽管 LLM 用途广泛，但没有一种模型能够最佳地解决所有任务和应用，尤其是在平衡性能和成本时。这一限制导致了 LLM 路由系统的开发，该系统结合了各种模型的优势，以克服单个 LLM 的限制。然而，缺乏用于评估 LLM 路评估框架，旨在系统地评估 LLM 路由系统的有效性，以及一个包含来自代表性 LLM 的 405k 多推理结果的综合数据集，以支持路由策略的开发。进一步提出 LLM 路由的理论框架，并通过 ROUTERBENCH 对各种路由方法进行了比较分析，强调了它们在评估框架中的潜力和局限性。这项工作不仅规范化并推动了 LLM 路由系统的开发，还为它们的评 ………………………………