AI语音大模型架构技术深度分析 2024

文章预览

图 2.3-1 语音大模型概况 随着语音技术的发展，在有标注的训练数据充足的情况下，使用 深度神经网络训练语音识别等任务上已经能够取得非常好的性能； 但 是现实中有标注的训练数据获取的成本很高，在一些低资源的任务场 景也很难获取足够多的有标注训练数据。 基于此背景，近些年来研究 者们致力于从大量没有标签的数据中预先学习有效的语音特征，使模 型学习到语音更深层次的特征表达，从而在低资源的下游语音任务中 摆脱对训练数据量的依赖，并且获取更好的性能。 近些年来研究者们 常用的语音预训练方法主要有以下几类： 基于自回归重构自监督特征 学习方法、掩码重构方法、对比预测编码方法、掩码预测方法、多任 务学习方法等。 1. 基于自回归重构自监督特征学习方法（Autoregressive Reconstruction） 自回归预测编码是一种生成式 ………………………………