视觉全能！自回归要反超扩散？Lumina-mGPT:任意分辨率丝滑逼真图像生成（上海AI Lab）

文章预览

作者：Dongyang Liu等 解读：AI生成未来          文章链接：https://arxiv.org/pdf/2408.02657 git链接：https://github.com/Alpha-VLLM/Lumina-mGPT 亮点直击 通过多模态生成预训练的自回归Transformer，而不是从头训练，可以作为逼真的文本到图像生成和视觉与语言任务统一的有效初始化。 基于mGPTs，引入了两种新的微调策略，FP-SFT和Omni-SFT，以在从弱到强的范式中充分释放它们的潜力，仅使用1000万高质量的文本-图像数据。 结果模型Lumina-mGPT不仅在任何分辨率下展示了令人印象深刻的逼真文本到图像生成，弥合了自回归和扩散基础方法之间的差距，还通过语言接口无缝支持各种下游任务。 本文介绍了 Lumina-mGPT ，一个多模态自回归模型家族，能够执行各种视觉和语言任务，特别是在从文本描述生成灵活的逼真图像方面表现优异。与现有的自回归图像生成方法不同，Lumina-mG ………………………………