RouteLLM，用于服务和评估 LLM 路由器的框架 - 在不-20240713145146

黄建同学 · 微博 · AI · 2024-07-13 14:51

文章预览

2024-07-13 14:51 本条微博链接 RouteLLM，用于服务和评估 LLM 路由器的框架 - 在不影响质量的情况下节省 LLM 成本！ #程序员# #ai# 核心功能包括： • OpenAI 兼容的 API，该 API 接收用户请求并使用单个命令将其路由到针对该特定请求的最佳模型。 • 提供开箱即用的训练路由器，经证明，在 MT Bench 等广泛使用的基准测试中，它可以将成本降低高达 85%，同时保持95% 的 GPT-4 性能。 • 轻松扩展框架以包含新的路由器和基准，并使用 ………………………………

原文地址：访问原文地址
快照地址：访问文章快照
总结与预览地址：访问总结与预览

分享到微博

推荐文章

爱可可-爱生活 · 【免费书《Think Python（第三版）》：Python编程-20250108141203

昨天

人工智能那点事 · 试驾车撞上电动自行车，小米汽车回应

昨天

爱可可-爱生活 · 【[66星]llguidance：实现了对大型语言模型输出的约束-20250108133854

昨天

宝玉xp · 回复@hopeful9527:我觉得这就是这个故事最大的意义：看-20250106145747

3 天前

爱可可-爱生活 · 【MingCute：精心设计的开源图标库，提供简洁而精致的图标，-20250106133504

3 天前

得民颂国家级服务平台 · 【市政府】关于进一步发挥资本市场作用促进本市科创企业高质量发展的实施意见

5 月前