深度学习模型部署综述（ONNX/NCNN/OpenVINO/TensorRT）

文章预览

  来源｜自动驾驶之心 编辑｜深蓝学院 费尽心血训练好的深度学习模型如何给别人展示？只在服务器上运行demo怎么吸引别人的目光？怎么才能让自己的成果落地？这篇文章带你进入模型部署的大门。 0 前言 模型部署的步骤： 训练一个深度学习模型； 使用不同的推理框架对模型进行推理转换； 在应用平台运行转换好的模型。 步骤看起来比较简单，但是牵扯的到的知识还是比较多。在实际应用过程中，我们使用的模型通常不会太简单，因为要确保模型的精度。但是，实际应用场景往往需要模型速度与精度能达到一个较好的平衡。因此这就需要在算法（剪枝，压缩等）与底层（手写加速算作）去优化模型。但是，我们现在可以站在巨人的肩膀上去眺望世界，因此，该文章会给大家介绍一些常用的开源推理框架，大家一起参考学习。毕竟大牛团队做 ………………………………