DeepSeek千人会议纪要

文章预览

DeepSeek•拆解：多模态大模型Janus-Pro 1、DeepSeek及其多模态大模型Janus Pro的发展情况 · DeepSeek的快速增长：DeepSeek已超过ChatGPT，成为全球增速最快的AI应用，日活DAU在200到250万以上。 · Janus Pro的基础：Janus Pro并非全新模型，其基础为去年10月发布的Janus，1月28日发布了Janus-Pro和Janus-Flow。 · Janus模型的核心：将图片的理解和生成这两个任务的编码器进行解耦，使其分别由不同的编码器执行。 · Janus模型的训练过程：分为三个阶段，第一阶段训练模型的适配器（Adapter）和图像头（Image Head）；第二阶段做统一的预训练；第三阶段做监督微调（SFT）。 · Janus Pro的版本及性能：DeepSeek Pro分为1B和7B两个版本，是同类参数量模型能力最好的，其性能优势源于使用了更多高质量的合成数据。 · Janus Pro的模型架构：两个不同的任务分别由两个不同的编码器来做，进行 ………………………………