滑大团队打造视频编辑框架，完全无需训练，能自由更换视频背景和修改天气

文章预览

对于 AI 视频编辑框架来说，目前主要有“文字生成影像”（T2V，text-to-video）大模型和“图像生成影像”（I2V，image-to-video）大模型。 比如，来自 OpenAI 的 Sora 便是一种 T2V 大模型，来自 StabilityAI 的 Stable Video Diffusion 则是一种 I2V 大模型。 但是，人们发现此前依然很难训练同等大小的“影像生成影像”（V2V，video-to-video）大模型。 一是没有大量成对的资料，二是训练同等级别的模型非常吃运算资源。 因此，如能做出无需训练的视频编辑框架，就能节省大量运算资源和数据，也能为视频编辑带来革命性的进展。 对于以往的 V2V 研究来说，要么非常依赖 T2I 模型，要么需要进行微调。 同时，此前鲜少有人考虑利用视频模型，比如利用 T2V 模型和 I2V 模型的可能性。 由于视频模型使用大量的影片数据进行训练，因此它对影片生成的理解，一定会比图像模 ………………………………