8张GPU训出近SOTA模型，超低成本图像生成预训练方案开源

文章预览

Everlyn 投稿 量子位 | 公众号 QbitAI 超低成本图像生成预训练方案来了—— 仅需8张GPU训练，就能实现近SOTA的高质量图像生成效果。 划重点： 开源 。 模型名为 LightGen ，由港科大Harry Yang团队联合Everlyn AI等机构打造，借助 知识蒸馏 （KD） 和 直接偏好优化 （DPO） 策略，有效压缩了大规模图像生成模型的训练流程。 LightGen不仅显著降低了数据规模与计算资源需求，而且在高质量图像生成任务上展现了与SOTA模型相媲美的性能。 图像inpainting效果belike： LightGen相较于现有的生成模型，尽管参数量更小、预训练数据规模更精简，却在geneval图像生成任务的基准评测中甚至超出了部分最先进SOTA模型。 此外，LightGen在效率与性能之间实现了良好的平衡，成功地将传统上需要 数千GPU days的预训练过程缩短至仅88个GPU days ，即可完成高质量图像生成模型的训练。 以下 ………………………………