大模型时代，腾讯翻盘需要混元DiT

文章预览

大数据产业创新服务媒体 ——聚焦数据 · 改变商业 作为首个基于中文的DiT架构，腾讯的混元DiT在发布后，仅仅用了1个礼拜的时间，就在GitHub上拿下了1500个星星。相较于那些远在海外的兄弟姐妹们， 混元DiT的优势在于能够捕捉到中文的细微含义，甚至 是古代诗词、中式菜肴等文化特定元素，并生成与之高度匹配且质量上乘的图像。 图：混元DiT以“杞人忧天”为提示词生成的图片 混元DiT结合了两个文本编码器，分别是一个双语的CLIP和一个多语言的T5编码器。CLIP是一种具有强大跨模态理解能力的模型，可以将文本和图像嵌入到同一向量空间中进行比较，而T5则是一种多语言文本编码器，具有广泛的语言理解能力。这种双编码器的组合模式，使得模型在处理中文输入时能够更好地理解语义和上下文，从而提高了对中文的处理能力。 市面上主流的文 ………………………………