Linly-Dubbing：视频多语言翻译，AI配音还能对口型！

主要观点总结

文章介绍了一款名为Linly-Dubbing的开源AI工具，它能够自动翻译视频内容并生成字幕，克隆视频中的声音进行自动配音，且能匹配口型。文章还详细描述了Linly-Dubbing背后的技术集成，包括WhisperX、FunASR、Edge TTS、XTTS等语音技术，以及OpenAI API、Qwen模型和Google Translate等用于字幕翻译的技术。此外，工具还能分离人声和伴奏，并借鉴Linly-Talker技术实现口型同步匹配。虽然目前该工具处于开发阶段，但演示效果令人期待。

关键观点总结

关键观点1: Linly-Dubbing工具简介

介绍了Linly-Dubbing是一款能够自动翻译视频并生成字幕的开源AI工具，可以克隆视频中的声音进行自动配音，解决了同期配音的出戏感。

关键观点2: Linly-Dubbing的技术集成

详述了Linly-Dubbing背后所集成的各种AI技术，包括语音识别、语音合成和字幕翻译等方面的技术。

关键观点3: 工具的功能特点

阐述了Linly-Dubbing的工具功能，如自动翻译视频、生成字幕、配音和口型匹配等。

关键观点4: 工具目前的状态及展望

指出了Linly-Dubbing目前仍处于开发阶段，演示效果虽令人期待，但也存在一些不足，如口型匹配偶尔会有瑕疵。

文章预览

以前看美剧的时候，我想象过这样一个场景：我们在看外语电影时，系统会自动帮我翻译成中文。这样有时候追剧的时候，就不用苦苦等字幕组更新了。相信大家都有过这样的幻想吧？ 最近我刷到一个叫Linly-Dubbing的开源AI工具，这玩意简直就是为我刚说的那个场景量身打造的软件。这玩意能自动把视频翻译成各种语言，还能生成字幕。更牛的是，它居然能克隆视频里说话人的声音，然后还能自动配音，甚至连口型都能匹配上。这样也就解决了同期配音的出戏感觉了吧？ 原视频 翻译过后的视频 我仔细研究了一下，发现这Linly-Dubbing背后用到的技术还挺牛的！它里面集成了各种AI技术，像什么WhisperX、FunASR、Edge TTS、XTTS等等，听着就让人头晕目眩，但这效果可是实打实的！就拿语音识别来说吧，它用了WhisperX和FunASR两种技术，WhisperX就像一个超级听写员 ………………………………