智源 Emu3 证明多模态模型新范式：只需基于下一个 token 预测

主要观点总结

智源研究院发布多模态世界模型Emu3，基于下一个token预测技术，无需扩散模型或组合方法，即可完成文本、图像、视频三种模态数据的理解和生成。该模型在图像生成、视频生成、视觉语言理解等任务中表现出卓越性能，提供了一个强大的视觉tokenizer，能够将视频和图像转换为离散token。同时，该模型采用统一视觉Tokenizer和特殊token定义多模态数据格式，通过预训练、特殊训练阶段和开源地址等方式进行训练和调优。未来，统一的多模态世界模型有望广泛应用于自动驾驶、机器人大脑、智能眼镜助手等领域。

关键观点总结

关键观点1: 智源研究院发布多模态世界模型Emu3

基于下一个token预测技术，无需扩散模型或组合方法，实现文本、图像、视频三种模态数据的理解和生成。

关键观点2: Emu3在图像生成、视频生成、视觉语言理解等任务中表现出卓越性能

采用了强大的视觉tokenizer，能够将视频和图像转换为离散token，提高了生成和理解的效率。

关键观点3: Emu3采用统一视觉Tokenizer和特殊token定义多模态数据格式

通过预训练、特殊训练阶段等方式进行训练和调优，提高了模型的泛化能力和性能。

关键观点4: 开源地址便于后续研究和社区构建与集成

智源研究院不仅公开了预训练模型和相应的SFT训练代码，还为未来研究和社区构建与集成提供了便利。

关键观点5: 统一的多模态世界模型未来有广泛的潜在应用

包括自动驾驶、机器人大脑、智能眼镜助手、多模态对话和推理等领域。

文章预览

只需基于下一个 token 预测，智源 Emu3 重新定义多模态模型。 OpenAI前首席科学家、联合创始人Ilya Sutskever曾在多个场合表达观点：只要能够非常好的预测下一个token，就能帮助人类达到通用人工智能（AGI）。 虽然，下一token预测已在大语言模型领域实现了 ChatGPT 等突破，但是在多模态模型中的适用性仍不明确，多模态任务仍然由扩散模型（如Stable Diffusion）和组合方法（如结合 CLIP视觉编码器和LLM）所主导。 2024年10月21日，智源研究院正式发布原生多模态世界模型Emu3。该模型只基于下一个token预测，无需扩散模型或组合方法，即可完成文本、图像、视频三种模态数据的理解和生成。 Emu3在图像生成、视频生成、视觉语言理解等任务中超过了 SDXL 、LLaVA、OpenSora等知名开源模型，但是无需扩散模型、CLIP视觉编码器、预训练的LLM等技术，只需要预测下一个tok ………………………………