文章预览
↑ 点击 蓝字 关注极市平台 作者丨小潘潘 来源丨oldpan博客 编辑丨极市平台 极市导读 本文介绍了如何使用TensorRT加速通过PyTorch Eager Mode量化接口生成的量化模型，包括在PyTorch中执行eager mode量化、导出ONNX模型、修复ONNX模型图以及构建和验证TensorRT引擎的详细步骤。 >> 加入极市CV技术交流群，走在计算机视觉的最前沿 from https://leimao.github.io/blog/PyTorch-Eager-Mode-Quantization-TensorRT-Acceleration/ 从 PyTorch 2.3.0 开始，PyTorch 提供了三种量化接口：eager mode 量化、FX graph mode 量化以及 PyTorch 2 Export 量化。 由于最新的 PyTorch 2 Export 量化接口阻止了量化后的 PyTorch 模型导出为 ONNX，因此若不开发自定义的 PyTorch FX graph 量化后端（比如fx2trt [1] ），就无法使用 TensorRT 加速模型推理。 而 eager mode 量化和 FX graph mode 量化接口都支持将量化后的 PyTorch 模型导出为 ONNX，可
………………………………
