专栏名称: PaperWeekly
PaperWeekly是一个推荐、解读、讨论和报道人工智能前沿论文成果的学术平台,致力于让国内外优秀科研工作得到更为广泛的传播和认可。社区:http://paperweek.ly | 微博:@PaperWeekly
目录
今天看啥  ›  专栏  ›  PaperWeekly

神笔马良版Sora!阿里提出全新DiT视频生成模型,实现精准轨迹控制

PaperWeekly  · 公众号  · 科研  · 2024-08-07 12:49
    

主要观点总结

本文介绍了阿里云提出的基于DiT架构的轨迹可控视频生成模型Tora。Tora能够根据不同物体的轨迹、图像和文本条件生成不同分辨率和时长的视频。文章详细阐述了Tora的整体结构、各模块功能以及训练数据处理与策略。此外,本文还介绍了实验的实现细节、测试结果以及投稿通道。

关键观点总结

关键观点1: Tora模型基于DiT架构,能够生成任意分辨率和时长的视频。

Tora模型利用时空去噪扩散变换器(ST-DiT)将输入视频在时空维度上压缩,并通过交替的spatial transformer block和temporal transformer block进行噪声预测。模型能够生成稳定运动视频,运动模式流畅且符合物理世界。

关键观点2: Tora模型包括轨迹提取器(TE)和运动引导融合器(MGF)等模块。

TE模块采用3D motion VAE将轨迹向量嵌入到与visual patches相同的潜在空间中,确保连续帧之间的运动信息得以保留和传递。MGF模块通过自适应归一化层将运动特征引入到DiT块中,使生成的运动能够遵循预定义的轨迹。

关键观点3: Tora模型的训练数据处理与策略包括筛选视频、处理运动轨迹和训练策略。

Tora模型通过结合motion segmentation和flow score来移除主要包含摄像机运动的实例,提高前景物体轨迹的跟随准确率。此外,模型采用两阶段训练策略,第一阶段使用密集光流作为运动轨迹,第二阶段根据motion segmentation结果和flow score随机采样目标物体的轨迹样本。


免责声明

免责声明:本文内容摘要由平台算法生成,仅为信息导航参考,不代表原文立场或观点。 原文内容版权归原作者所有,如您为原作者并希望删除该摘要或链接,请通过 【版权申诉通道】联系我们处理。

原文地址:访问原文地址
总结与预览地址:访问总结与预览
推荐产品:   推荐产品
文章地址: 访问文章快照