寥寥数笔，动画自成！阿里Tora: 首个轨迹引导的DiT创新实现精确运动控制视频生成

文章预览

作者：Zhenghao Zhang等 解读：AI生成未来              论文链接：https://arxiv.org/pdf/2407.21705 项目链接：https://ali-videoai.github.io/tora_video/ 亮点直击 本文引入了Tora，这是第一个轨迹导向的DiT用于视频生成。如下图2所示，Tora无缝整合了广泛的视觉和轨迹指令，从而能够熟练地创建可操控运动的视频。 为了与DiT的可扩展性保持一致，本文设计了一种新颖的轨迹提取器和运动引导融合机制，以获取时空运动块，随后将这些块注入DiT块中。本文对几种架构选择进行了消融实验，并为未来基于DiT的运动控制研究提供了实证基线。 实验表明，Tora能够生成具有不同纵横比的720p分辨率视频，最长可达204帧，所有这些都由指定的轨迹引导。此外， 它在模拟物理世界中的运动方面表现出色。 最近在 Diffusion Transformer (DiT) 方面的进展展示了其在生成高质量视频内容方面 ………………………………