【NeurIPS2024】CA-SSLR：面向广义语音处理的条件感知自监督学习表征

文章预览

来源：专知 本文 约1000字 ，建议阅读 5 分钟 我们提出了条件感知自监督学习表征（CASSLR），这是一种通用的条件模型，广泛适用于各种语音处理任务。 我们提出了条件感知自监督学习表征（CASSLR），这是一种通用的条件模型，广泛适用于各种语音处理任务。与传统的微调方法（通常针对下游模型进行优化）相比，CA-SSLR整合了来自前层的语言和说话人嵌入，使得自监督学习（SSL）模型能够感知当前的语言和说话人上下文。该方法减少了对输入音频特征的依赖，同时保持了基础自监督学习表征（SSLR）的完整性。CA-SSLR提升了模型的能力，并在最小化特定任务微调的情况下，展示了其在未知任务上的广泛适应性。我们的方法采用线性调制来动态调整内部表征，从而实现细粒度的适应性，同时不显著改变原始模型的行为。实验表明，CA-SSLR减少了可训练参 ………………………………