主要观点总结
文章介绍了JanusFlow模型，该模型融合了自回归LLM与Rectified Flow，成功构建了一个统一的视觉理解与生成框架。具有简洁的架构设计，在视觉理解和生成两大任务上均展现出强劲的竞争力。
关键观点总结
关键观点1: JanusFlow模型简介
JanusFlow是一个统一视觉理解与生成框架的模型，融合了自回归LLM与Rectified Flow技术。
关键观点2: 模型架构与设计
JanusFlow采用了解耦的视觉编码器分别优化理解与生成能力，利用理解端编码器对生成端特征进行表征对齐。其设计包括视觉理解编码器、视觉生成编解码器、注意力机制等组件。
关键观点3: 训练策略与实验
JanusFlow采用了三阶段训练策略，包括Adaptation、Pre-Training和Supervised Fine-Tuning。通过一系列消融实验验证了模型各组件的有效性，并探讨了不同视觉编码器策略的影响。
关键观点4: 模型效果
JanusFlow在DPGBench、GenEval和多模态理解的测评标准上取得了强大的效果，在视觉理解和生成任务上均超过此前同规模的统一多模态模型。
文章预览
Janus团队 投稿自 凹非寺 量子位 | 公众号 QbitAI 在多模态AI领域，基于预训练视觉编码器与MLLM的方法（如LLaVA系列）在 视觉理解 任务上展现出卓越性能。 而基于Rectified Flow的模型（如Stable Diffusion 3及其衍生版本）则在 视觉生成 方面取得重大突破。 能否将这两种简单的技术范式统一到单一模型中？ 来自DeepSeek、北大、香港大学以及清华大学的团队研究表明： 在LLM框架内直接融合这两种结构，就可以实现视觉理解与生成能力的有效统一 。 模型架构 简单来说，JanusFlow将基于视觉编码器和LLM的理解框架与基于Rectified Flow的生成框架直接融合，实现了两者在单一LLM中的端到端训练。 其核心设计包括：(1)采用解耦的视觉编码器分别优化理解与生成能力；(2)利用理解端编码器对生成端特征进行表征对齐，显著提升RF的训练效率。基于1.3B规模的LLM，JanusFlow在视
………………………………
