专栏名称: 江大白
专业有趣的AI内容平台,关注后回复【算法】,获取45家大厂的《人工智能算法岗江湖武林秘籍》
目录
今天看啥  ›  专栏  ›  江大白

TensorRT模型部署,灵活性和性能调试,技巧梳理解析!

江大白  · 公众号  ·  · 2024-08-09 08:00

文章预览

以下 文 章来源于微信公众号: oldpan博客 作者: Oldpan 链接: https://mp.weixin.qq.com/s/w5uqNTcTvc9yrafwT8JlaQ 本文仅用于学术分享,如有侵权,请联系 后 台作删文处理 导读 模型的转换是大家在调试模型过程中经常需要做的工作,是不是觉得这个过程很辛苦呢?那有没有兼顾灵活性和性能的更好的方式呢,本文为大家详细介绍了两种更好的方式,希望对大家有所帮助。 用过TensorRT的基本都接触过 trtex ec [1] ,可以方便快捷地将你的ONNX模型转换为TensorRT的engine: ./trtexec --onnx=model.onnx 其中原理是啥,这就涉及到了另外一个库 onnx-tensorrt [2] ,可以解析onnx模型并且将onnx中的每一个op转换为TensorRT的op,进而构建得到engine,trtexec转模型的核心就是onnx-tensorrt。 如果没有 onnx-tensorrt [3] ,我们该怎么使用TensorRT去加速你的模型的呢? 幸运的是TensorRT官方提供了 API [4] 去搭 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览