深剖深度学习推理加速方法（文心大模型ERNIE）

文章预览

随着深度学习模型商业化落地的同时，算法模型不断增加，对场景的实时性要求愈发高了，模型的推理与加速就尤为重要。 比 如 安防、语音助手、推荐、搜索、环境感知等场景对模型 响应的速度均有较高的要求 。 例如 ： 1.自动驾驶车辆的环境感知，要求每帧图像的检测分割处理速度是10ms左右，如果深度学习模型不进行推理加速，通常速度只能在30ms左右，这样使得自动驾驶车辆无法实时应对周围环境的变化，进而导致交通事故。 2.一些社交或者短视频平台，需要实时检测用户上传的视频内容是否合法合规。深度学习模型如果检测速度慢，轻则影响用户体验，重则导致违法违规内容大规模扩散。 深度学习模型压缩与加速技术， 在降低存储空间和计算资源的同时，还可以降低部署和维护成本，提高相应响应速度，降低数据泄漏和滥用的风险 。 深 ………………………………