Tryage：实时、智能地将用户提示路由至大语言模型

文章预览

23年8月来自加州理工的论文“Tryage: Real-time, Intelligent Routing of User Prompts to Large Language Models”。 Transformer 架构和自注意机制的引入，使针对特定下游任务和数据域训练的语言模型数量激增。Hugging Face 生态系统中有超过 200,000 个模型，用户在解决计算、安全和近因问题的同时，还要努力选择和优化模型以适应多方面的工作流程和数据域。迫切需要机器学习框架来消除模型选择和定制的负担，并为最终用户发挥庞大的涌现模型库惊人功能。在这里提出一种上下文-觉察路由系统 Tryage，利用语言模型路由器对单个输入提示的分析，它从模型库中最佳地选择专家模型。Tryage 受到大脑中丘脑路由器的启发，采用感知路由器预测下游模型在提示下的性能，然后使用目标函数做出路由决策，该目标函数将性能预测与通过flag (例如模型大小、模型近因) 纳入的用户 ………………………………