RouteLLM：高效LLM路由框架，可以动态选择优化成本与响应质量的平衡

文章预览

本文 约3300字 ，建议阅读 10 分钟 本文 提出了一种新的路由框架，通过动态选择强弱大型语言模型（LLMs）来优化成本与响应质量的平衡。 该论文提出了一个新的框架，用于在强模型和弱模型之间进行查询路由选择。通过学习用户偏好数据，预测强模型获胜的概率，并根据成本阈值来决定使用哪种模型处理查询 。该研究主要应用于大规模语言模型（LLMs）的实际部署中，通过智能路由在保证响应质量的前提下显著降低成本。 通过创新的路由框架和算法，有效地在强模型和弱模型之间进行查询路由选择，大幅度降低了成本，同时保持了响应质量。 图是dalle生成的，看着还不错 论文创新 矩阵分解方法： 采用了推荐系统中的矩阵分解技术，通过训练偏好数据来揭示隐藏的评分函数，从而确定不同模型对查询的质量 。 BERT分类器： 使用了标准的文本分类 ………………………………