主要观点总结
本文介绍了深度学习模型部署的入门知识，包括为什么使用torch需要动转静，以及部署框架如ONNX、OpenVINO和TensorRT的作用和转换方法。
关键观点总结
关键观点1: 深度学习模型部署的重要性及部署框架简介
随着深度学习的发展，模型部署在实际应用中变得越来越重要。部署框架如ONNX、OpenVINO和TensorRT等，能够帮助我们更好地进行模型部署，提高模型的运行效率和性能。
关键观点2: Torch中的动态图与静态图
动态图在torch中虽然易于使用和编写，但性能上可能存在一些问题，如额外的开销、优化难度和内存使用等。因此，在进行模型部署前，将动态图转换为静态图是非常重要的。
关键观点3: ONNX：不同模型间的桥梁
ONNX是一个开放的神络网络交换格式，旨在架起不同深度学习框架之间的桥梁，让模型能够自由迁移。但是，ONNX在某些情况下可能不如原生框架的模型运行得快，并且不一定能很好地表示各种算子。
关键观点4: OpenVINO和TensorRT：针对不同硬件的推理引擎
OpenVINO和TensorRT是针对不同硬件的推理引擎，旨在提高模型的运行性能和效率。OpenVINO针对英特尔硬件进行优化，而TensorRT针对NVIDIA的GPU。它们通过深度优化和硬件差异化来提高性能。
关键观点5: 模型转换与部署流程
文章介绍了如何将模型转换为ONNX、OpenVINO和TensorRT等格式，并进行了简单的部署流程介绍。包括模型优化器将训练好的模型转换为推理引擎可以识别的中间表达——IR文件，以及推理引擎的执行流程等。
文章预览
SmartFlowAI 点击上方 蓝字 关注我们 作者：企鹅火烈鸟🦩，北京邮电大学硕士 全文约 2700 字，预计阅读时间 7 分钟 大家好我是🐧小弟，🐦了巨久之后今天继续带来一期基础的深度学习模型部署的入门文章，随着上一期讲完 torch 的一些基础知识之后。这一期带大家来接触一些关于更加深入和规范化的部署相关的知识。 这一期主要会分几个点展开：为什么我们做部署的时候要在 torch 上更进一步使用 ONNX，TensorRT，OpenVINO 等部署框架，在做 cv 模型部署的时候。我们怎么部署。在做 LLM 部署的时候，我们又会怎么做呢？ 动静转换：Torch上更进一步 Torch 虽说我们在上一节《 部署知识库 | 基础知识：模型推理 》讲了很多 torch 的好处和优点。最核心的就是 torch 使用了动态图组网。使用动态组网的好处是。可以使用更偏向 python 语法的格式对模型进行定义。
………………………………
