主要观点总结
本文介绍了阿里云提出的基于DiT架构的轨迹可控视频生成模型Tora。Tora能够根据不同物体的轨迹、图像和文本条件生成不同分辨率和时长的视频。文章详细阐述了Tora的整体结构、各模块功能以及训练数据处理与策略。此外，本文还介绍了实验的实现细节、测试结果以及投稿通道。
关键观点总结
关键观点1: Tora模型基于DiT架构，能够生成任意分辨率和时长的视频。
Tora模型利用时空去噪扩散变换器（ST-DiT）将输入视频在时空维度上压缩，并通过交替的spatial transformer block和temporal transformer block进行噪声预测。模型能够生成稳定运动视频，运动模式流畅且符合物理世界。
关键观点2: Tora模型包括轨迹提取器（TE）和运动引导融合器（MGF）等模块。
TE模块采用3D motion VAE将轨迹向量嵌入到与visual patches相同的潜在空间中，确保连续帧之间的运动信息得以保留和传递。MGF模块通过自适应归一化层将运动特征引入到DiT块中，使生成的运动能够遵循预定义的轨迹。
关键观点3: Tora模型的训练数据处理与策略包括筛选视频、处理运动轨迹和训练策略。
Tora模型通过结合motion segmentation和flow score来移除主要包含摄像机运动的实例，提高前景物体轨迹的跟随准确率。此外，模型采用两阶段训练策略，第一阶段使用密集光流作为运动轨迹，第二阶段根据motion segmentation结果和flow score随机采样目标物体的轨迹样本。
文章预览
背景 视频生成模型最近取得了显著进展。例如，OpenAI 的 Sora 和国内的 Vidu、可灵等模型，通过利用 Diffusion Transformer 的扩展特性，不仅能够满足各种分辨率、尺寸和时长的预测要求，同时生成的视频更符合物理世界的表现。视频生成技术需要在一系列图像中创造一致的运动，这凸显了运动控制的重要性。 当前已有一些优秀的方法如 DragNUWA 和 MotionCtrl 已经实现了轨迹可控的视频生成，但这些方法受限于传统 U-Net 去噪模型，大多只能生成 16 帧长度、固定低分辨率的视频，难以应对长距离轨迹。此外，如果轨迹过于不规则或存在偏移过大等情况，这些方法十分容易出现运动模糊、外观失真和不自然的运动如漂移闪现等。 为了解决这些问题，阿里云提出了一种基于 DiT 架构的轨迹可控视频生成模型 Tora。Tora 能够根据任意数量的物体轨迹，图像和文本条
………………………………
