万字长文，AI模型大小与推理速度的深度研究

文章预览

以下 文 章来源于： 田子宸@知乎 作者： 田子宸 链接： https://zhuanlan.zhihu.com/p/411522457 本文仅用于学术分享，如有侵权，请联系 后 台作删文处理 导读 本文将对衡量深度学习模型大小的一些常用指标，如计算量、参数量、访存量等进行探讨，分析这些指标对模型部署推理的影响，尤其是计算量与访存量对模型推理速度的影响，并给出在不同硬件架构下设计网络结构的一些建议。 零、前言 本文不仅仅是为了给出网络的设计建议，更是希望能够有效传达性能优化的基础理论知识，以及性能分析的基本思路，帮助各位同学减少网络设计与部署之间的gap，更高效的完成网络设计与部署工作。非常希望本文能够对大家的工作有所帮助。 一、常用的模型大小评估指标 目前常用于评价模型大小的指标有：计算量、参数量、访存量、内存占用等，这些指标从不同 ………………………………