专栏名称: 硅星人Pro
硅(Si)是创造未来的基础,欢迎来到这个星球。
今天看啥  ›  专栏  ›  硅星人Pro

Sora这就落伍了?Meta“最强视频模型”不用DiT,用Llama大力出奇迹了

硅星人Pro  · 公众号  · 科技媒体  · 2024-10-05 09:59

主要观点总结

Meta发布了新的视频模型“Movie Gen”,声称在技术效果上超过了OpenAI的Sora。Movie Gen包括一系列模型,用于生成媒体内容。其中最大的基础文生视频生成模型是Movie Gen Video,具有300亿参数。此外,还有针对个性化视频生成和精准视频编辑的模型。Movie Gen采用了一种新的技术路线,不再使用扩散模型(DiT)架构,而是结合了Flow Matching和Meta自己的Llama架构。Meta使用大量GPU和服务器资源进行模型训练,并展示了多个创新技巧。Movie Gen旨在用于Meta的社交媒体和下一代计算平台生态。

关键观点总结

关键观点1: Meta发布新的视频模型‘Movie Gen’,宣称打败Sora。

Movie Gen是一个组合模型,包括文生视频生成模型、音频生成模型等。

关键观点2: Movie Gen的技术特点和创新之处

采用新的技术路线,不使用扩散模型(DiT)架构;结合了Flow Matching和Meta自己的Llama架构;使用大量GPU和服务器资源进行模型训练;在模型各环节采用多个创新技巧。

关键观点3: Movie Gen的应用前景

旨在用于Meta的社交媒体和下一代计算平台生态;具有广泛的应用场景,如个性化视频生成、精准视频编辑等。


文章预览

作者 | 王兆洋 邮箱 | wangzhaoyang@pingwest.com 在OpenAI Sora的主要技术负责人跑去Google、多个报道指出OpenAI Sora在内部因质量问题而导致难产的节骨眼,Meta毫不客气发了它的视频模型“Movie Gen”,并直接用一个完整的评测体系宣告自己打败了Sora们。 而且更狠的是,Meta还“杀人诛心”,虽然这模型目前和Sora一样还没对外开放,但它把新模型的95页技术报告(没有开源,但包含很多细节)公开,并且告诉大家: 这模型不仅效果上打败了Sora,而且用了新的技术路线——也就是证明了Sora的技术路线在今天也不再是最先进的了。 各位文生视频玩家们,别“抄”Sora了。 1 “媒体基座模型” 准确说,Meta发布的是一系列模型,一个为了实现“AI生成媒体内容”而创建的一个组合。这也是这个技术论文的标题的意思:Movie Gen: A Cast of Media Foundation Models 这个组合包括 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览