专栏名称: Ai fighting
本公众号主要分享自动驾驶感知实战,从算法训练到模型部署。主要致力于3D目标检测,3D目标追踪,多传感器融合,Transform,BEV,OCC,模型量化,模型部署等方向的实战。
今天看啥  ›  专栏  ›  Ai fighting

解剖刀Onnx-GraphSurgeon:对onnx模型的末端进行增,删,改操作(三)

Ai fighting  · 公众号  · AI 科技自媒体  · 2024-07-19 22:40
    

主要观点总结

文章介绍了ONNX-GraphSurgeon,一个专为ONNX模型设计的Python工具包,提供对ONNX计算图的高级编辑能力。文章主要介绍了该工具的特点、安装方法、如何对onnx输入端进行处理、如何在初始结点处增加操作、如何修改结点的输入以及如何删除结点。

关键观点总结

关键观点1: 工具特点

ONNX-GraphSurgeon提供高度可塑性的编辑能力,允许开发者轻松调整计算图的结构;内置多种优化机制,显著提升模型运行时的效率和资源利用率;提供直观且强大的API接口,使开发者能迅速掌握并使用。

关键观点2: 安装方法

通过pip install onnx-graphsurgeon命令进行安装。

关键观点3: 处理onnx输入端

介绍了如何使用ONNX-GraphSurgeon对onnx模型进行剪切、生成模型、在初始结点处增加操作、修改结点的输入以及删除结点。

关键观点4: 工具的应用

ONNX GraphSurgeon是一个强大的深度学习模型优化工具,可以帮助提高模型的推理速度和资源利用率,使深度学习模型在各种硬件平台上发挥出更好的性能。


文章预览

一、引言 ONNX-GraphSurgeon 是一个专为 ONNX 模型设计的 Python 工具包,它的主要功能是提供对 ONNX 计算图的高级编辑能力。这使得开发者能够根据具体的应用场景,对模型进行定制化修改与性能优化。 特点概述: 高度可塑性  - 开发者可以利用 ONNX-GraphSurgeon 轻松调整计算图的结构,包括但不限于节点和边的增加、移除或替换,从而实现模型的个性化定制。 卓越的效率  - 该工具包内置了多种优化机制,比如层融合和模型剪枝,能够显著提升模型运行时的效率和资源利用率。 用户友好  - 提供了一套直观且强大的 API 接口,使得开发者即使没有深入的底层知识也能迅速掌握并使用。 代码地址: https://github.com/NVIDIA/TensorRT/tree/release/10.1/tools/onnx-graphsurgeon 二、Onnx-graphsurgeon 安装 ‍ 安装命令如下: pip  install onnx-graphsurgeon 三、对onnx输入端进行处理 1、onnx为 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览