文章预览
目录 一、背景 二、Lora是什么 1. Lora的概念 2. 如何开启大模型的Lora微调 三、如何基于Lora部署大模型 1. Lora参数合并 2. 如何部署合并后的大模型 3. 这样的部署流程有什么问题？ 四、多Lora部署大模型又是什么 1. 多Lora的技术原理是什么 2. 多Lora适应于什么场景 3. 哪些推理框架支持多Lora 4. 多Lora的性能怎么样，有哪些限制 五、总结 如何把多个大模型合并部署以节省成本呢？本文将深入探讨这一技术与应用场景，利用多Lora合并部署大模型。 一 背景 近期，我们在大模型集群的部署过程中遇到了一些挑战。公司有多个业务场景，每个场景都基于自身的数据进行微调，训练出相应的大模型并上线。然而，这些场景的调用量并不高，同时大模型的部署成本较为昂贵，这造成了资源的浪费。 本文将介绍我
………………………………
