中科大和字节AI视频生成CamTrol杀疯了！运动可控，效果惊艳！

文章预览

大家好，我是阿潘，今年堪称视频生成的爆发的一年，sora 2024年2月15日发布，让全世界都震惊了。openai 有一次成为了行业标杆。从生成的效果来看，比起以往抽象的生成结果，有了巨大的提升。 今天和大家分享中科大和字节跳动的工作 CamTrol 。这是一种train-free，可以在大多数预训练的视频扩散模型中即插即用的方案。支持单张图片或文本prompt作为输入生成视频。 论文：https://arxiv.org/pdf/2406.10126 主页：https://lifedecoder.github.io/CamTrol/ 1、 原理介绍 虽然视频生成模型在生成具有高度动态对象和背景的视频方面取得了进展，但大多数模型 无法为生成的视频提供相机控制 。 视频中摄像机轨迹控制的难度主要来自两个方面 1、大多数视频标注缺乏描述，尤其是 对视频摄像机运动的精确描述 。无法将prompt与相机运动相关的并生成正确的输出。缓解数据不足 ………………………………