TensorRT模型部署加速，PyTorch实战教程，推荐收藏！

文章预览

以下 文 章来源于：伯恩legacy@知乎 作者：伯恩legacy 链接：https://zhuanlan.zhihu.com/p/88318324 本文仅用于学术分享，如有侵权，请联系 后 台作删文处理 导读 PyTorch是当前主流的训练框架之一，当我们完成模型训练之后，往往需要使用TensorRT进行部署。本文详细分享了将pytorch模型转化为tensorRT并进行加速的全流程，并提供了相关代码进行操作实战。 一.简介 TensorRT是Nvidia公司出的能加速模型推理的框架，其实就是让你训练的模型在测试阶段的速度加快，比如你的模型测试一张图片的速度是50ms，那么用tensorRT加速的话，可能只需要10ms。当然具体能加速多少也不能保证，反正确实速度能提升不少。但是TensorRT坑爹的地方在于，有些模型操作是不支持的、又或者就算支持但是支持并不完善，对于这些难题，要么自己写插件，要么就只能等待官方的更新了。 现在 ………………………………