学界 | 从剪枝法到低秩分解，手机端语言模型的神经网络压缩

文章预览

选自arXiv 机器之心编译 参与：李亚洲 日前，机器之心介绍了 一种压缩手机端计算机视觉模型的方法 。在这篇文章中，我们介绍了一篇论文，介绍和对比了手机端语言模型的神经网络压缩方法。 神经网络模型需要大量的磁盘与存储空间，也需要大量的时间进行推理，特别是对部署到手机这样的设备上的模型而言。 在目前的研究中，业内已有多种方法解决该难题。部分是基于稀疏计算，也包括剪枝或其他更高级的方法。总而言之，在将模型存储到磁盘时，这样的方法能够大大降低训练网络的大小。 但是，当用模型进行推理时，还存在其他问题。这些问题是由稀疏计算的高计算时间造成的。有一种解决方式是使用神经网络中不同的基于矩阵的方法。因此，Lu, Z 等 ………………………………