深入浅出，TensorRT模型部署一站式实战讲解

文章预览

以下 文 章来源于知乎 作者： 启思 链接： https://zhuanlan.zhihu.com/p/527238167 本文仅用于学术分享，如有侵权，请联系 后 台作删文处理 导读 模型部署作为人工智能的落地的“最后一步”，也是算法能够转换为生产力的重要环节。因此本文分享TensorRT 的部署流程，希望能对各位读者有所帮助。 前段时间用 TensorRT 部署了一套模型，速度相比 Python 实现的版本快了 20 多倍，中间踩了许多坑，但是最后发现流程其实相当简单，特此记录一下踩坑过程。 01 TensorRT 这东西就是 NVidia 在自家显卡上做了一个深度学习 inference 加速的框架，只要你把训练好的模型参数和结构告诉他，他就能自动帮你优化（硬件相关），以达到最快速度。 这涉及两个问题： 应该以什么模型格式把模型喂给 TensorRT？ 如何使用 TensorRT 优化后的模型？ 对于第一个问题：现在的深度学习框架 ………………………………