Pytorch2.x时代，C++模型的高性能部署实践

文章预览

以下 文 章来源于知乎：oldpan博客 作者：oldpan 链接： https://mp.weixin.qq.com/s/5rkvGssHwHG_Bo5N3kF_fw 本文仅用于学术分享，如有侵权，请联系 后 台作删文处理 导读 Pytorch作为功能全面的一个深度学习框架被大家广泛使用，Pytorch模型的高性能部署也一直是大家讨论的问题。但是相比C++来说，Python速度较慢而且比较费内存，一般高性能场景都是使用C++去部署，本文对C++部署展开了详细讨论，希望对大家有所帮助。 Pytorch模型的 高性能部署 一直是大家讨论的问题，有两点比较重要： 高度优化的算子 可以高效率运行计算图的架构和runtime 高度优化的算子不用多说，TensorRT为什么那么快，因为engine在构建的时候，在每个平台（A10、A100、T4等）上搜索到了最优最快的kernel（实现了一些op）。高效率运行计算图也是很关键的一点，TensorRT构建好engine后，需要libnvinfer.so来 ………………………………