基础篇| 大模型部署框架

文章预览

点击蓝字 关注我们 不迷路 01 背 景 上一篇《 基础篇| 全网最全详解12个大模型推理框架 》,我们一起学习了推理框架 ， 今天我们一起学习大模型部署框架 。 为什么要有大模型部署框架? 为什么有了推理框架，还要来一个什么部署框架？上节内容我们介绍了有12种大模型推理框架，虽然多，但是现在业界尚不存在各方面都远超其同类产品的推理框架，不同推理引擎在不同平台，硬件和模式下分别具有各自的优势，比如TensorRT有足够多的灵活性，在GPU执行时可以共享上下文，可以使用外部内存用于推理等，OpenVINO有高吞吐率模式，可以CPU与GPU异构设备同时推理。作为应用开发者，为了实现最优效率，如果针对不同环境都写一套代码去适配其最优推理框架，其耗费的学习成本和精力及代码量都将极其巨大。 这时候有大模型部署框架用武之地，大模型部 ………………………………