DeepSeek新作Janus：解耦视觉编码，引领多模态理解与生成统一新范式

文章预览

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。 投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com 论文: https://arxiv.org/pdf/2410.13848 项目主页：https://github.com/deepseek-ai/Janus 模型下载：https://huggingface.co/deepseek-ai/Janus-1.3B 在线 Demo：https://huggingface.co/spaces/deepseek-ai/Janus-1.3B 1. 太长不看版 我们提出了 Janus，一种基于自回归的多模态理解与生成统一模型。Janus 的核心思想是对理解和生成任务的视觉编码进行解耦，在提升了模型的灵活性的同时，有效缓解了使用单一视觉编码导致的冲突和性能瓶颈。实验表明，Janus 超越了此前的统一模型的效果，并取得了和纯理解 / 纯生成模型 ………………………………