Linly-Dubbing：视频多语言翻译，AI配音还能对口型！

文章预览

以前看美剧的时候，我想象过这样一个场景：我们在看外语电影时，系统会自动帮我翻译成中文。这样有时候追剧的时候，就不用苦苦等字幕组更新了。相信大家都有过这样的幻想吧？ 最近我刷到一个叫Linly-Dubbing的开源AI工具，这玩意简直就是为我刚说的那个场景量身打造的软件。这玩意能自动把视频翻译成各种语言，还能生成字幕。更牛的是，它居然能克隆视频里说话人的声音，然后还能自动配音，甚至连口型都能匹配上。这样也就解决了同期配音的出戏感觉了吧？ 原视频 翻译过后的视频 我仔细研究了一下，发现这Linly-Dubbing背后用到的技术还挺牛的！它里面集成了各种AI技术，像什么WhisperX、FunASR、Edge TTS、XTTS等等，听着就让人头晕目眩，但这效果可是实打实的！就拿语音识别来说吧，它用了WhisperX和FunASR两种技术，WhisperX就像一个超级听写员 ………………………………