文章预览
图片来源:由无界AI生成 最近,Ilya向黄仁勋描述「只要能预测下一个token,就能达到AGI」的视频再次爆火全网,他的预言刚刚竟被证实?智源研究院基于下一个token预测,发布了原生多模态世界模型Emu3,无需扩散即可理解生成三种模态数据! 虽然,下一token预测已在大语言模型领域实现了ChatGPT等突破,但是在多模态模型中的适用性仍不明确,多模态任务仍然由扩散模型(如Stable Diffusion)和组合方法(如结合CLIP视觉编码器和LLM)所主导。 2024年10月21日,智源研究院正式发布原生多模态世界模型Emu3。该模型只基于下一个token预测,无需扩散模型或组合方法,即可完成文本、图像、视频三种模态数据的理解和生成。 Emu3在图像生成、视频生成、视觉语言理解等任务中超过了SDXL、LLaVA、OpenSora等知名开源模型,但是无需扩散模型、CLIP视觉编码器、预训
………………………………