小时级的长视频生成！浙江大学发布MovieDreamer，AI电影时代到来了？

主要观点总结

本文介绍了浙江大学新开发的视频生成框架MovieDreamer，它能够生成长达数小时的视频内容。该框架融合了自回归模型和扩散模型的优势，利用多模态剧本进行训练，可以生成连贯、逼真的视频故事。文中详细介绍了框架的工作流程，包括关键帧的生成、自回归模型的训练、扩散渲染技术的运用等。

关键观点总结

关键观点1: MovieDreamer的特点和优势

浙江大学开发的视频生成框架，能够生成长达数小时的视频内容；融合了自回归模型和扩散模型的优势；采用多模态剧本进行训练，确保生成视频的连贯性和逼真度。

关键观点2: 框架的工作流程

包括关键帧的生成、自回归模型的训练、扩散渲染技术的运用等。

关键观点3: 实验和比较

作者将MovieDreamer生成的结果与其他方法进行了比较，显示其在故事生成质量和视频结果质量上的优越性。此外，还进行了消融实验，验证了抗过拟合策略、多模态电影剧本的增强、ID保持渲染的改进等策略的有效性。

文章预览

 夕小瑶科技说 原创  作者 | 谢年年 还记得前段时间刷屏朋友圈的Sora吗？它将生成视频的时长从几秒惊人地延长到前所未有的整整一分钟，惊艳了AI视频圈，不少人预言AI生成长达数小时的电影也指日可待。 这不，浙江大学带着MovieDreamer走来了，再次刷新了视频生成的极限，将时长推向了小时级。MovieDreamer不仅可以塑造鲜活生动的角色，编织出连贯流畅的故事线，在画面上精雕细琢，每一帧的细节更是拉满。 先来欣赏一下MovieDreamer生成的大作： 下图是MovieDreamer生成的泰坦尼克号的场景，非常逼真。且人物的面部、发型等在长时间内保持统一，这对生成自然逼真的长视频非常重要。 再来看看生成的视频demo: 整个视频从画面到人物造型，都展现出了惊人的连贯性和协调性，叙事结构和情节进展复杂精细，虽然动态的面部表情仍略显僵硬，但瑕不 ………………………………