文章预览
以下 文 章来源于微信公众号: oldpan博客 作者: Oldpan 链接: https://mp.weixin.qq.com/s/w5uqNTcTvc9yrafwT8JlaQ 本文仅用于学术分享,如有侵权,请联系 后 台作删文处理 导读 模型的转换是大家在调试模型过程中经常需要做的工作,是不是觉得这个过程很辛苦呢?那有没有兼顾灵活性和性能的更好的方式呢,本文为大家详细介绍了两种更好的方式,希望对大家有所帮助。 用过TensorRT的基本都接触过 trtex ec [1] ,可以方便快捷地将你的ONNX模型转换为TensorRT的engine: ./trtexec --onnx=model.onnx 其中原理是啥,这就涉及到了另外一个库 onnx-tensorrt [2] ,可以解析onnx模型并且将onnx中的每一个op转换为TensorRT的op,进而构建得到engine,trtexec转模型的核心就是onnx-tensorrt。 如果没有 onnx-tensorrt [3] ,我们该怎么使用TensorRT去加速你的模型的呢? 幸运的是TensorRT官方提供了 API [4] 去搭
………………………………