优化预测速度 部署ML模型的7个要点

文章预览

在模型部署时，模型的性能和耗时都非常重要。但是我们在构建模型时，往往没有考虑模型的预测速度。虽然性能优化会损害预测准确性,但更简单的模型通常运行得更快，也不容易过拟合。 预测延迟被测量为进行预测所需的经过时间。延迟通常被视为一个分布，而运维工程师通常关注此分布的给定百分位数的延迟，如50%或99%情况下的耗时。 要点1：影响延迟的因素 对于机器学习模型，影响预测延迟的主要因素是： 特征个数 数据的稀疏性 模型复杂度 特征提取耗时 其中特征是否能够并行提取 & 模型能够批量预测，对预测耗时影响非常大。 要点2：关注模型本身 由于不同的模型原理上存在区别，本质由多种原因（分支可预测性、CPU 缓存、线性代数库优化等）导致模型速度存在差异。 模型速度存在以下规律： 树模型速度比线性模型的速度慢 SVM速度 ………………………………