一文读懂 ONNX、TensorRT、OpenVINO部署框架

文章预览

SmartFlowAI 点击上方 蓝字 关注我们 作者：企鹅火烈鸟🦩，北京邮电大学硕士 全文约 2700 字，预计阅读时间 7 分钟 大家好我是🐧小弟，🐦了巨久之后今天继续带来一期基础的深度学习模型部署的入门文章，随着上一期讲完 torch 的一些基础知识之后。这一期带大家来接触一些关于更加深入和规范化的部署相关的知识。 这一期主要会分几个点展开：为什么我们做部署的时候要在 torch 上更进一步使用 ONNX，TensorRT，OpenVINO 等部署框架，在做 cv 模型部署的时候。我们怎么部署。在做 LLM 部署的时候，我们又会怎么做呢？ 动静转换：Torch上更进一步 Torch 虽说我们在上一节《 部署知识库 | 基础知识：模型推理 》讲了很多 torch 的好处和优点。最核心的就是 torch 使用了动态图组网。使用动态组网的好处是。可以使用更偏向 python 语法的格式对模型进行定义。 ………………………………