Tritonserver 在得物的最佳实践

文章预览

目录 一、Tritonserver 介绍 二、部署Features      1. Ensemble Pipeline      2. Business Logic Scripting(BLS)     3. Dynamic Batching     4. C/GPU分离 三、模型的性能测试     1. 参数优化     2. 性能压测 四、Tritonserver 在得物的最佳实践     1. 模型管理     2. 一键部署     3. Pytorch 和 Tensorflow      4. 基于代码的普通服务部署 五、总结 一 Tritonserver 介绍 Tritonserver是Nvidia推出的基于GPU和CPU的在线推理服务解决方案，因其具有高性能的并发处理和支持几乎所有主流机器学习框架模型的特点，是目前云端的GPU服务高效部署的主流方案。 Tritonserver的部署是以模型仓库(Model Repository)的形式体现的，即需要模型文件和配置文件，且按一定的格式放置如下，根目录下每个模型有各自的文件夹。 ./ └── my_model_repo ├── 1 │ └── model.plan └── config .pbtxt Tritonserver ………………………………