同声传译StreamSpeech!

文章预览

项目简介 “一体化”无缝模型，同步执行语音识别、语音翻译和语音合成。 StreamSpeech可以同时提供ASR、翻译和合成结果 同步语音到语音翻译（Simul-S2ST，又名流式语音翻译）在接收流式语音输入的同时输出目标语音，这对于实时通信至关重要。除了完成语音之间的翻译之外，Simul-S2ST 还需要一个策略来控制模型在语音输入的适当时刻生成相应的目标语音，从而提出了翻译和策略的双重挑战。在本文中，我们提出了 StreamSpeech，这是一种直接 Simul-S2ST 模型，可以在多任务学习的统一框架中联合学习翻译和同时策略。StreamSpeech 是一种用于语音识别、语音翻译和语音合成的“一体化”无缝流式模型，它可以有效地识别流式语音输入中开始翻译的合适时机。CVSS 基准测试表明 StreamSpeech 在离线 S2ST 和 Simul-S2ST 任务中均实现了最先进的性能。此外，StreamSpeech能 ………………………………