统一多模态模型来了！智源发布多模态世界模型Emu3！

文章预览

2024年10月21日，智源研究院正式发布原生多模态世界模型Emu3。该模型使用单一的Transformer进行训练，并通过将图像、文本和视频等不同模态的数据转化为离散空间中的令牌来进行预测。只基于下一个token预测，无需扩散模型或组合方法，即可完成文本、图像、视频三种模态数据的理解和生成，并超越传统任务特定模型的效果，在生成和感知任务中都达到了SOTA的水平。此外，该模型还可以生成高保真度的视频序列。研究团队认为，这种方法是构建跨语言多模态智能的重要一步，并开源了关键技术和模型以支持进一步的研究。 模型效果： 在 图像生成 方面，通过自动化评价指标对Emu3在四个流行文本到图像基准数据集（MSCOCO-30K、GenEval、T2I-CompBench和DPG-Bench）上的性能进行了评估。结果表明，尽管Emu3没有使用任何预训练的语言模型，但在与扩散方法、自 ………………………………