GhostRNN：以低成本 Transformer Layer 实现 RNN 模型精简与性能提升 ！

文章预览

编辑：集智书童 基于长程依赖建模的循环神经网络(RNNs)在各种语音任务中得到广泛应用，例如关键词检测(KWS)和语音增强(SE)。然而，由于低资源设备的功率和内存限制，需要高效的RNN模型用于实际应用。 在本文中，作者提出了一种高效的RNN架构GhostRNN，通过廉价操作减少隐藏状态冗余。 特别地，作者观察到在训练好的RNN模型中，隐藏状态的某些部分与其他部分相似，这表明特定RNN中的冗余性。 为了减少冗余并降低计算成本，作者提出首先生成几个内在状态，然后根据内在状态应用廉价操作生成鬼状态。 在KWS和SE任务上的实验表明，提出的GhostRNN在保持性能相似的同时，显著降低了内存使用率（约40%）和计算成本。 1 Introduction 近年来，随着神经网络的快速发展，在各种语音任务上取得了显著的改进。在这些神经网络中，RNNs，例如LSTMs [1] 或 GRUs [2] ………………………………