基于 KServe on ASM 搭建 TensorRT-LLM 优化的大语言模型推理服务

文章预览

背景信息 Cloud Native KServe（原 KFServing）是云原生环境的一个模型服务器和推理引擎，具备自动缩放、零缩放和金丝雀部署等能力，为云原生的大规模机器学习和深度学习模型服务提供了基础。 通过与 mlserver、Tensorflow Serving、Triton、TorchSerive 等多种机器学习模型推理服务运行时的集成，KServe 中可以运行基于 Pytorch、Tensorflow、XGBoost 等多种机器学习框架开发的模型，并通过统一的API对外暴露成模型推理服务。 阿里云服务网格 ASM 在集成容器服务 Knative Serving 能力的基础上，支持一键集成 KServe 的 KServe on ASM 能力，提供 Serverless 方式部署的 AI 模型推理服务，通过 ASM 集成 KServe，开发人员可以在云原生应用程序中快速部署和管理机器学习模型的推理服务，减少手动配置和维护的工作量，提高开发效率。 TensorRT-LLM 是一个易于使用的 Python API，用于定义大型语 ………………………………