阿里Tora视频生成，简单几笔快速生成精确运动控制的视频。

文章预览

阿里团队近日推出视频生成模型Tora，能够根据轨迹、图像、文本或其组合，简单几笔快速生成精确运动控制的视频，同时也支持首尾帧控制，让视频生成的可控性又上了一个阶梯。 Tora 能够生成由轨迹、图像、文本或它们的组合引导的视频。 这是第一个面向轨迹的DiT框架，该框架同时集成了文本、视觉和轨迹条件以进行视频生成。 利用 DiT 的可扩展性，生成的运动不仅精确遵循轨迹，而且可以有效模拟物理世界的动态。值得注意的是，在以 720p 分辨率生成视频时，Tora 最多可保持 204 帧的稳定运动控制。 下面展示为Tora使用如下prompts生成视频的例子~ 相关链接 论文链接：https://arxiv.org/pdf/2407.21705 项目链接：https://ali-videoai.github.io/tora_video/ 论文阅读 摘要 扩散变换器 (DiT) 的最新进展已证明其在制作高质量视频内容方面具有非凡的能力。尽管如此 ………………………………