结构剪枝：要个4层的BERT有多难？

想看transformer剪枝文章的起因是美团搜索团队的一篇文章[1]，里面提到他们将BERT裁剪为四层，在query分类的业务场景下效果不降反升，简直香。但是文章里也没有透露具体的做法，我身边也没认识到美团搜索团队的同学，于是决定自己动手调研一波。首先，剪枝的主要原因是提升推理速度，另外是希望去掉在个别case上过拟合的权重，提升模型泛化能力。我认为剪枝的研究点主要在以下两方面：1. 剪掉什么？这里可以分为weight pruning(WP)和structured pruning(SP)。WP指将矩阵中的某个权重连接置为0，处理完后通过稀疏矩阵进行运算，或者将某一行或一列置为0（神经元），仍用矩阵进行运算。但WP的缺点是对矩阵进行改变，影响运算效率，所以不进行更深入的调研了，有兴趣的同 ………………………………