专栏名称: 极市平台
极市平台是由深圳极视角推出的专业的视觉算法开发与分发平台,为视觉开发者提供多领域实景训练数据库等开发工具和规模化销售渠道。本公众号将会分享视觉相关的技术资讯,行业动态,在线分享信息,线下活动等。 网站: http://cvmart.net/
今天看啥  ›  专栏  ›  极市平台

实践教程|兼顾灵活性和性能以及调试的手搓TensorRT网络!

极市平台  · 公众号  ·  · 2024-10-20 22:00
    

文章预览

↑ 点击 蓝字  关注极市平台 作者丨Oldpan 来源丨Oldpan博客 编辑丨极市平台 极市导读   同时兼顾灵活性和性能的TensorRT教程。   >> 加入极市CV技术交流群,走在计算机视觉的最前沿 用过TensorRT的基本都接触过trtexec [1] ,可以方便快捷地将你的ONNX模型转换为TensorRT的engine: ./trtexec --onnx=model.onnx   其中原理是啥,这就涉及到了另外一个库onnx-tensorrt [2] ,可以解析onnx模型并且将onnx中的每一个op转换为TensorRT的op,进而构建得到engine,trtexec转模型的核心就是onnx-tensorrt。 如果没有onnx-tensorrt [3] ,我们该怎么使用TensorRT去加速你的模型的呢? 幸运的是TensorRT官方提供了API [4] 去搭建网络,你可以像使用Pytorch一样去搓一个网络出来,比如TensorRTx [5] 这个库,就包含了很多直接使用API搭建出来的TensorRT网络: nvinfer1::IHostMemory* buildEngineYolov8n(nvinfer1::IBuilder* builder, ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览