从故事直接生成视频？一起来看DreamRunner如何重塑内容创作。

文章预览

今天为大家介绍一种新的故事到视频生成方法-DreamRunner，它能够将文本脚本转化为长篇、多动作、多场景的视频，让故事跃然屏上。通过大型语言模型、检索增强技术和新颖的3D注意力模块，实现了对象精细运动、场景一致性和动作无缝过渡的突破。 相关链接 主页：https://zunwang1.github.io/DreamRunner 论文：https://arxiv.org/pdf/2411.16657 代码：https://github.com/wz0919/DreamRunner 论文介绍 故事叙述视频生成 (SVG) 最近成为一项任务，用于创建长篇、多动作、多场景的视频，这些视频可以一致地呈现输入文本脚本中描述的故事。SVG 在媒体和娱乐领域的多样化内容创作方面具有巨大潜力；然而，它也带来了重大挑战： 对象必须表现出一系列精细、复杂的运动 多个对象需要一致地出现在各个场景中 主体可能需要在单个场景中无缝过渡的多个动作。 为了应对这些挑战，我 ………………………………