TGI 多-LoRA: 部署一次，搞定 30 个模型的推理服务

文章预览

你是否已厌倦管理多个 AI 模型所带来的复杂性和高成本？那么， 如果你可以部署一次就搞定 30 个模型推理服务会如何？ 在当今的 ML 世界中，哪些希望充分发挥其数据的价值的组织可能最终会进入一个“微调的世界”。在这个世界，各个组织会构建大量模型，其中每个模型都针对特定任务进行了高度特化。但是，如何处理为每个细分应用部署模型所带来的麻烦和成本呢？多-LoRA 服务提供了一个有潜力的答案。 动机 对组织而言，基于微调构建多个模型是有意义的，原因有多重: 性能 - 有 足够证据 表明: 在目标任务上，较小的专用模型表现优于较大的通用模型。Predibase 的结果 [5] 表明，针对特定任务对 mistralai/Mistral-7B-v0.1 基础模型进行 LoRA 微调可以获得比 GPT-4 更好的性能。 https://hf.co/papers/2405.09673 https://hf.co/mistralai/Mistral-7B-v0.1/tree/main 适应性 - Mi ………………………………