【深度学习】6种卷积神经网络压缩方法

文章预览

来源 ：机器学习杂货店  本文 约5200字 ，建议阅读 10+ 分钟 我们知道，在一定程度上，网络越深，参数越多，模型越复杂，其最终效果越好。 神经网络的压缩算法是，旨在将一个庞大而复杂的预训练模型（pre-trained model）转化为一个精简的小模型。 按照压缩过程对网络结构的破坏程度，我们将模型 压缩技术 分为 “前端压缩” 和 “后端压缩” 两部分。 前端压缩，是指在不改变原网络结构的压缩技术，主要包括知识蒸馏、轻量级网络（紧凑的模型结构设计）以及滤波器（filter）层面的剪枝（结构化剪枝）等； 后端压缩，是指包括低秩近似、未加限制的剪枝（非结构化剪枝 / 稀疏）、参数量化以及二值网络等，目标在于尽可能减少模型大小，会对原始网络结构造成极大程度的改造。 总结： 前端压缩几乎不改变原有网络结构（仅仅只是在原模型基 ………………………………