FoleyCrafter: 开源的AI配音技术 自动为视频进行配音配乐

文章预览

在我们做短视频、做相关广告片的时候，拍摄其实不麻烦，最麻烦的还是我们的后期工作，配乐、配音效这些，每次都是把人搞得欲仙欲死。也不是说网上没有这样的素材，只是有些素材明确说了只是给个人使用，如果我们这条视频还涉及到带货，那可能就更麻烦，还得找人家重新签另外一个商业授权。 后期配搞这些确实很头疼，但是，现在好了。随着 AI 技术的发展，这些我们以前头疼的问题，也逐步开始被解决了。今天这个项目是由 上海人工智能实验室和香港中文大学（深圳） 的团队合作开发的，他们利用了最先进的文本到音频（Text-to-Audio, T2A）AI 模型来实现我们上面说的这个功能。 FoleyCrafter 是一种新型的技术框架，它不只是能为我们的视频配音配音效， 还能为静音的视频生成契合的音频，同时还能同步视频时间轴语义相关的音效， 简单 ………………………………