RouteLLM：并非所有的任务都需要GPT-4

文章预览

LLM 在一系列任务中都表现出了卓越的能力，但从图1中的性能与成本图可以看出，它们的成本和能力存在很大差异。从广义上讲，能力更强的模型往往比能力较弱的模型更昂贵。这导致在现实世界中部署LLM时出现两难境地： 将所有查询路由到最大、能力最强的模型可以获得最高质量的响应，但成本可能很高，而将查询路由到较小的模型可以节省成本，但可能会导致响应质量较低。 图1：各种LLM的性能与成本图。性能由Elo在Chatbot Arena上测量，每百万to ken的成本假设为1:1的输入/输出比。通过两个模型之间的路由，理想情况下实现了比任何一个模型都更好的性能：成本比。 LLM最权威评估榜单维护者 lmsys 开源 RouteLLM （LLM路由），提供了一种解决方案，其中每个查询首先由一个系统处理，该系统决定将其路由到哪个 LLM。理想情况下，所有可以由较弱模型 ………………………………