字节提出 NEST-RO，语音自我监督预训练的下一个令牌预测 ！

文章预览

前言   以前针对说话的自我监督学习（SSL）方法，如HuBERT和BEST-RQ，都集中在利用非因果编码器，具有双向上下文，并且对下游流式模型支持不足。为了解决这个问题，作者提出了基于随机投影量化器（NEST-RQ）的下一标记预测的说话预训练方法。NEST-RQ使用仅具有左侧上下文的有因果编码器，并将下一标记预测（NTP）作为训练任务。 Pytorch训练营，花两个星期彻底掌握代码实现 CV各大方向专栏与各个部署框架最全教程整理 CV全栈指导班、基础入门班、论文指导班 全面上线!! 来源： AIGC先锋科技 仅用于学术分享，若侵权请联系删除 I Introduction 近年来，在语音自我监督学习（SSL）技术领域取得了巨大的进步，受到学术和产业界的广泛关注。通过从大量的未标注语音数据中挖掘信息，语音 SSL 可以为下游语音任务提供强大的表示或表示模型[8]。SSL 正在将 ………………………………