利用多Lora节省大模型部署成本｜得物技术

主要观点总结

本文主要介绍了利用多Lora技术合并部署大模型以节省成本的方法，包括Lora概念、如何开启大模型的Lora微调、如何基于Lora部署大模型、多Lora部署大模型的技术原理、适用场景、支持多Lora的推理框架、性能限制等。

关键观点总结

关键观点1: Lora概念

Lora是一种低秩自适应技术，通过微调大模型的少量参数来适应特定业务场景，显著减少训练参数数量和GPU内存需求。

关键观点2: 如何开启大模型的Lora微调

通过配置算法框架的参数，执行训练命令，即可启动大模型的Lora微调。

关键观点3: 基于Lora部署大模型的流程

合并Lora参数和大模型原始参数，生成新的微调大模型，选择合适的推理引擎进行部署。

关键观点4: 多Lora部署大模型的技术原理

不合并Lora文件，而是在显存中同时加载基础大模型和各业务场景的Lora文件，直接进行推理，以节省部署成本。

关键观点5: 多Lora适用的场景

适用于业务场景多样化且调用量较小的场景，通过共享基础大模型，使用多个Lora文件满足多个业务的需求。

关键观点6: 支持多Lora的推理框架

目前推荐VLLM推理引擎，支持多Lora功能，易于使用和部署。

关键观点7: 多Lora的性能和限制

多Lora对推理的吞吐和速度影响较小。使用时需注意共享基础大模型和Lora秩的限制。

文章预览

目录 一、背景 二、Lora是什么     1. Lora的概念     2. 如何开启大模型的Lora微调 三、如何基于Lora部署大模型     1. Lora参数合并     2. 如何部署合并后的大模型     3. 这样的部署流程有什么问题？ 四、多Lora部署大模型又是什么     1. 多Lora的技术原理是什么     2. 多Lora适应于什么场景     3. 哪些推理框架支持多Lora     4. 多Lora的性能怎么样，有哪些限制 五、总结     如何把多个大模型合并部署以节省成本呢？本文将深入探讨这一技术与应用场景，利用多Lora合并部署大模型。   一 背景 近期，我们在大模型集群的部署过程中遇到了一些挑战。公司有多个业务场景，每个场景都基于自身的数据进行微调，训练出相应的大模型并上线。然而，这些场景的调用量并不高，同时大模型的部署成本较为昂贵，这造成了资源的浪费。 本文将介绍我 ………………………………