Pytorch2.x时代，关于C++部署的讨论

文章预览

Pytorch模型的 高性能部署 一直是大家讨论的问题，有两点比较重要： 高度优化的算子 可以高效率运行计算图的架构和runtime 高度优化的算子不用多说，TensorRT为什么那么快，因为engine在构建的时候，在每个平台（A10、A100、T4等）上搜索到了最优最快的kernel（实现了一些op）。高效率运行计算图也是很关键的一点，TensorRT构建好engine后，需要libnvinfer.so来驱动，其中实现了什么，在使用过程中很容易猜到： 序列化和反序列化，也就是所谓的生成engine，读取engine 推理engine、多stream运行计算图，管理engine所需要的一些环境，比如显存和中间变量等 为了达到极致的性能，TensorRT的整个运行时都是在C++环境中，虽然提供了Python-API，但实际调用执行的操作都是在C++中，Python只提供包了一层的作用，算子和执行整个计算图的地方都是C++。 c++ api vs python api python有快 ………………………………