主要观点总结
本文主要介绍了卷积神经网络（CNN）模型的小型化与加速技术，包括SqueezeNet、DeepCompression、XNorNet等方法的原理、实验和速度考量。文章指出，随着CNN模型在图像竞赛任务中精度的不断提升，模型尺寸和计算量也在成倍增长，给移动端和嵌入式芯片的部署带来挑战。因此，模型小型化与加速成为亟待解决的问题。
关键观点总结
关键观点1: SqueezeNet
SqueezeNet是一个小型化的网络模型结构，通过采用1x1卷积核、减小输入通道数和延迟降采样的策略，在保证精度的同时大幅减小模型尺寸。其网络结构由若干个fire module组成，并采用global average pooling去除全连接层。
关键观点2: Deep Compression
Deep Compression通过剪枝、权值量化和霍夫曼编码等技术，实现了深度神经网络的压缩。其中，权值量化基于权值聚类，将连续分布的权值离散化；霍夫曼编码进一步减小了模型尺寸。
关键观点3: XNorNet
XNorNet实现了网络参数和输入的二值化，带来存储压缩和速度提升。提出了新型二值化权值的算法，并在大规模数据集如ImageNet上进行了实验验证。
文章预览
前言 自从AlexNet一举夺得ILSVRC 2012 ImageNet图像分类竞赛的冠军后，卷积神经网络（CNN）的热潮便席卷了整个计算机视觉领域。CNN模型火速替代了传统人工设计（hand-crafted）特征和分类器，不仅提供了一种端到端的处理方法，还大幅度地刷新了各个图像竞赛任务的精度，更甚者超越了人眼的精度（LFW人脸识别任务）。CNN模型在不断逼近计算机视觉任务的精度极限的同时，其深度和尺寸也在成倍增长。 表1 几种经典模型的尺寸，计算量和参数数量对比 Model Model Size(MB) Million Mult-Adds Million Parameters AlexNet [1] >200 720 60 VGG16 [2] >500 15300 138 GoogleNet [3] ~50 1550 6.8 Inception-v3 [4] 90-100 5000 23.2 随之而来的是一个很尴尬的场景：如此巨大的模型只能在有限的平台下使用，根本无法移植到
………………………………
