开源实操 | 腾讯VTA-LDM：让你的视频自动生成完美音效

文章预览

点击下方 卡片 ，关注“ AI生成未来 ” 请加小助理 加入AIGC技术交流群 备注公司/学校+昵称+研究方向 简介 根据视频输入生成语义和时间对齐的音频内容已成为研究人员的焦点，特别是在文本到视频生成方面取得显著突破之后。 在这项工作中，VTA-LDM目标是提供对视频到音频生成范例的见解，重点关注三个关键方面： 视觉编码器、辅助嵌入和数据增强技术。 VTA-LDM 是由腾讯人工智能实验室开发的一项新技术，其主要作用是利用AI自动给视频生成符合视频内容的音效！ 比如视频里是海浪拍打沙滩，它就能生成哗啦哗啦的海浪声；要是视频里是热闹的街市，它就能生成嘈杂的人声和车声。 先看下效果吧！！ 其中，左侧是原始视频中的音效，右侧是VTA-LDM生成的音效！！ 方法概述 VTA-LDM 框架概述 图 1： VTA-LDM 框架概述。 给定无声视频，该模型会生成 ………………………………