绘梦有形，快手开源「可图 Kolors」，等你来玩

文章预览

01 引言 近期，快手开源了名为Kolors（可图）的文本到图像生成模型，该模型具有对英语和汉语的深刻理解，并能够生成高质量、逼真的图像。技术报告中也提了几个重要的工作内容： 首先，Kolors基于通用语言模型（ChatGLM），而不是像Imagen和Stable Diffusion 3基于大语言模型T5，这增强了其对英语和汉语的理解能力，并利用多模态大型语言模型CogVLM重新为训练数据集中的图像生成更详细的描述； 其次，Kolors训练分为两个阶段，即概念学习阶段和质量改进阶段，并使用特定的数据集进行训练以提高视觉吸引力，通过引入高质量的数据和优化高分辨率训练技术来改善图像质量； 最后，Kolors团队提出了一种平衡类别的基准数据集KolorsPrompts，用于指导Kolors的训练和评估。 实验结果表明，即使使用U-Net backbone，可图Kolors也表现出色，在人类评价中超越了现有的 ………………………………