Meta又给OpenAI一记重击，视频生成Movie Gen震撼登场，甚至可以配音、编辑

主要观点总结

本文主要介绍了Meta公司展示的新媒体生成式AI研究——Movie Gen，包括其各项功能和技术细节。文章提及Movie Gen的功能包括文本生成视频和音频、编辑已有视频、图片生视频等，并且人类评估显示其在这些任务上的表现均优于行业内类似模型。文章还详细介绍了Movie Gen的技术实现，包括视频生成、个性化视频、精确的视频编辑、音频生成等方面的技术细节和流程。

关键观点总结

关键观点1: Meta展示了新的媒体生成式AI研究——Movie Gen

Movie Gen具有多种功能，如文本生成视频和音频、编辑已有视频、图片生视频等。

关键观点2: Movie Gen在各项任务上的表现均超过行业内类似模型

据人类评估显示，Movie Gen在视频生成、个性化视频、精确的视频编辑、音频生成等方面的表现均优于其他模型。

关键观点3: Movie Gen的技术实现细节

Movie Gen采用了多种技术实现，包括使用Transformer模型、时间自动编码器模型（TAE）、个性化视频和精确视频编辑的模型架构，以及音频生成模型的流匹配和扩散Transformer技术等。

关键观点4: Meta在多个技术方面做出了创新突破

Meta在架构、训练目标、数据处理方法、评估协议和推理优化等多个技术方面做出了创新突破，使Movie Gen成为了一个强大的故事叙述工具。

文章预览

机器之心报道 编辑：Panda、大盘鸡 视频生成领域真是越来越卷且越来越迈向实用性！ 在 OpenAI Sora 难产的时候，Meta 首次公开展示了自家的「用于媒体的突破性生成式 AI 研究」：Meta Movie Gen。 Meta 在相应博客中使用了「premiere」一词，也就是初次展示，因此手痒的用户可能还得再等上一段时间。 Meta 表示：「无论是希望在好莱坞大展身手的电影制作人，还是爱好为观众制作视频的创作者，我们相信每个人都应该有机会使用有助于提高创造力的工具。」 根据 Meta 的描述，Movie Gen 的功能包括：文本生成视频和音频、编辑已有视频、图片生视频。并且人类评估表明，Movie Gen 在这些任务上的表现均优于行业内类似模型。   具体的效果如何，我们先来看几个示例。 可以看到，小女孩在奔跑的过程中衣服的褶皱就已经吊打很多视频生成应用了。 ‍ prompt：一 ………………………………