科学家将状态空间模型引入语音分离领域，能自动从视频中分离不同人物对白

文章预览

据介绍，当前最新发布的状态空间模型模型比如 Mamba，具备以线性计算复杂度建立长程依赖关系的优势，非常适合高效处理长序列的任务。 尽管 Mamba 在自然语言处理和计算机视觉等领域已经展现了良好的效果，但在语音分离领域其潜力尚未被充分挖掘。 据了解，基于卷积神经网络 CNN，Convolutional Neural Networks）的语音分离模型，受限于其局部感受野，限制了其捕获音频信号全部上下文的能力，从而影响了分离性能。 而基于 Transformer 的模型虽然能够很好地建模长期依赖关系，但其自注意力机制相对于序列长度有平方级的复杂度，导致其在实时应用中计算成本很高。 总的来说，现有的 CNN、循环神经网络（RNN，Recurrent Neural Network）和 Transformer 方法在计算效率和捕获时间依赖性方面各有优缺点。 基于此，清华大学团队提出了一种新的语音分离模型架构 ………………………………