完整解读：从DeepSeek Janus到Janus-Pro！

文章预览

↑ 点击 蓝字  关注极市平台 作者丨Eternity 来源丨Datawhale 编辑丨极市平台 极市导读   详细解读DeepSeek的多模态模型Janus及其升级版本Janus-Pro >> 加入极市CV技术交流群，走在计算机视觉的最前沿 Take Home Message: Janus 是一个简单、统一且可扩展的多模态理解与生成模型，其将多模态理解与生成的视觉编码进行解耦，缓解了两个任务潜在存在的冲突。可在未来通过拓展，纳入更多的输入模态。Janus-Pro 在此基础上，优化训练策略（包括增加训练步数、调整数据配比等）、增加数据（包括 使用合成数据等 ）、扩大模型规模（扩大到 70 亿参数），使得模型多模态理解和 文本到图像指令遵循 能力方面取得了进步。 代码地址： https://github.com/deepseek-ai/JanusJanus Janus Pro 地址： https://github.com/deepseek-ai/Janus/blob/main/janus_pro_tech_report.pdf Janus-Pro 是之前工作 Janus 的高级 ………………………………