Meta Movie Gen 技术原理

文章预览

年 初 OpenAI 放出 Sora 后，文生视频领域发展如火如荼，不断有令人惊喜的进展。当时笔者曾整理过其技术原理 - 解读OpenAI Sora文生视频技术原理 ，获得了近 30万阅读，以及各种媒体的转载。 今天，Meta 放出“影片生成（ MovieGen）”基础模型，再次引发行业热点： 可以生成具有不同的宽高比和同步音频的1080p高清视频，同时支持精确的基于指令的视频编辑和基于用户图像的个性化视频生成。 其最大的视频生成模型是一个30B参数的Transformer，训练时使用了最大73K上下文长度的视频token，能够以16帧每秒的速度生成16秒视频。并且可以同时生成高保真图像和音频。 不同于OpenAI的技术封闭，Meta 公开了详细的技术文档，业界良心，绝对可以成为该领域从业者的宝典： https://ai.meta.com/static-resource/movie-gen-research-paper 。 对照年初笔者对Sora技术原理的判断，研读 ………………………………