专栏名称: CV技术指南
长期更新:深度学习、计算机视觉相关技术的总结;图像处理相关知识;最新论文;经典论文;论文综述、tensorflow和pytorch等内容总结。涉及领域 :神经网络模型、transformer模型、目标检测、语义分割、目标跟踪、视频理解等。
今天看啥  ›  专栏  ›  CV技术指南

RouteLLM:高效LLM路由框架,可以动态选择优化成本与响应质量的平衡

CV技术指南  · 公众号  ·  · 2024-07-07 20:40

文章预览

前言   本文 提出了一个新的框架,用于在强模型和弱模型之间进行查询路由选择。通过学习用户偏好数据,预测强模型获胜的概率,并根据成本阈值来决定使用哪种模型处理查询 。该研究主要应用于大规模语言模型(LLMs)的实际部署中,通过智能路由在保证响应质量的前提下显著降低成本。 通过创新的路由框架和算法,有效地在强模型和弱模型之间进行查询路由选择,大幅度降低了成本,同时保持了响应质量。 Pytorch训练营,花两个星期彻底掌握代码实现 CV各大方向专栏与各个部署框架最全教程整理 CV全栈指导班、基础入门班、论文指导班 全面上线!! 图是dalle生成的,看着还不错 论文创新 矩阵分解方法 :采用了推荐系统中的矩阵分解技术,通过训练偏好数据来揭示隐藏的评分函数,从而确定不同模型对查询的质量 。 BERT分类器 :使用了标准 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览