2025 年 Next Token Prediction 范式会统一多模态吗？

文章预览

 Datawhale学术  作者：MMNTP Team 介绍一下最近和来自北大，北航，港大，国科大等学校的同学以及阿里, Microsoft, Humanify 等研究机构呕心沥血的综述工作《Next Token Prediction Towards Multimodal Intelligence: A Comprehensive Survey》 👉 完整论文: https://arxiv.org/abs/2412.18619 👉 Github地址：https://github.com/LMM101/Awesome-Multimodal-Next-Token-Prediction 简介 过去一两年时间里，多模态（Multimodal）领域涌现了大量基于 Next Token Prediction（NTP）的模型，以下简称为 MMNTP，这些模型在多模态理解与生成任务上取得了显著的进展。以图片模态举例，有以 LLaVA, QwenVL 为代表的图片理解模型，也有以 Unified-IO 系列，Chameleon，VAR 为代表的基于离散 Token 的图片生成模型以及融合 NTP 和 Diffusion 架构的 Transfusion，MAR 等模型。音频部分则有 Moshi 为代表的基于 NTP 的音频理解和生成模型。 本文采用全新的 ………………………………