收藏 | 卷积神经网络压缩方法总结

文章预览

点击上方 “ 小白学视觉 ”，选择加" 星标 "或“ 置顶 ” 重磅干货，第一时间送达 仅作学术分享，不代表本公众号立场，侵权联系删除 转载于： 作者 | 唐奋@知乎 来源 | https://zhuanlan.zhihu.com/p/359627280 编辑 | 极市平台 我们知道，在一定程度上，网络越深，参数越多，模型越复杂，其最终效果越好。神经网络的压缩算法是，旨在将一个庞大而复杂的预训练模型（pre-trained model）转化为一个精简的小模型。按照压缩过程对网络结构的破坏程度，我们将模型压缩技术分为“前端压缩”和“后端压缩”两部分。 前端压缩 ，是指在不改变原网络结构的压缩技术，主要包括知识蒸馏、紧凑的模型结构涉及以及滤波器（filter）层面的剪枝等。 后端压缩 ，是指包括低秩近似、未加限制的剪枝、参数量化以及二值网络等，目标在于尽可能减少模型大小，会对原始 ………………………………