视频、图像、文本，只需基于下一个Token预测：智源Emu3发布，验证多模态模型新范式

主要观点总结

文章介绍了智源研究院发布的原生多模态世界模型Emu3，该模型基于预测下一个token的理念，无需扩散模型或组合方法，即可完成文本、图像、视频三种模态数据的理解和生成。文章详细描述了Emu3的技术细节、效果展示及开源地址等。

关键观点总结

关键观点1: Emu3模型简介

Emu3是一个原生多模态世界模型，基于预测下一个token的理念，实现了文本、图像、视频三种模态数据的理解和生成。

关键观点2: Emu3的技术细节

包括数据收集和处理、统一视觉Tokenizer、架构、预训练、SFT阶段等。

关键观点3: Emu3的效果展示

包括视觉理解、图像生成、视频生成、视频预测等方面的实际效果展示。

关键观点4: Emu3的开源地址和未来方向

智源研究院开源了Emu3生成和理解一体的预训练模型以及相应的SFT训练代码，未来方向包括多模态AI的广泛应用，如自动驾驶、机器人大脑等。

文章预览

机器之心发布 机器之心编辑部 OpenAI 前首席科学家、联合创始人 Ilya Sutskever 曾在多个场合表达观点：只要能够非常好的预测下一个 token，就能帮助人类达到通用人工智能（AGI）。 虽然，下一 token 预测已在大语言模型领域实现了 ChatGPT 等突破，但是在多模态模型中的适用性仍不明确，多模态任务仍然由扩散模型（如 Stable Diffusion）和组合方法（如结合 CLIP 视觉编码器和 LLM）所主导。 2024 年 10 月 21 日， 智源研究院正式发布原生多模态世界模型 Emu3 。 该模型只基于下一个 token 预测，无需扩散模型或组合方法，即可完成文本、图像、视频三种模态数据的理解和生成。 Emu3 在图像生成、视频生成、视觉语言理解等任务中超过了 SDXL 、LLaVA、OpenSora 等知名开源模型，但是无需扩散模型、CLIP 视觉编码器、预训练的 LLM 等技术，只需要预测下一个 token。 在图 ………………………………