视觉全能！自回归要反超扩散？Lumina-mGPT:任意分辨率丝滑逼真图像生成（上海AI Lab）

主要观点总结

本文介绍了Lumina-mGPT，一个基于多模态生成预训练（mGPT）的自回归Transformer模型，能够执行各种视觉和语言任务，尤其是在从文本描述生成灵活逼真的图像方面表现优异。通过使用大规模交织的文本-图像序列进行多模态生成预训练，简单的decoder-only Transformer能够学习广泛且通用的多模态能力，从而实现逼真的文本到图像生成。本文还展示了如何通过FP-SFT和Omni-SFT两种微调策略，释放mGPT在文本到图像生成和全能任务统一方面的潜力，使Lumina-mGPT能够生成多样化、逼真的图像，并支持任意分辨率的生成。此外，还探讨了不同解码超参数对生成性能的影响，并可视化了注意力分布，分析了模型的局限性。

关键观点总结

关键观点1: 多模态生成预训练（mGPT）

通过使用大规模交织的文本-图像序列进行多模态生成预训练，简单的decoder-only Transformer能够学习广泛且通用的多模态能力，实现逼真的文本到图像生成。

关键观点2: FP-SFT和Omni-SFT微调策略

通过FP-SFT和Omni-SFT两种微调策略，释放mGPT在文本到图像生成和全能任务统一方面的潜力，使Lumina-mGPT能够生成多样化、逼真的图像，并支持任意分辨率的生成。

关键观点3: 解码超参数的影响

探讨了不同解码超参数（如温度、top-k和分类器自由指导）对生成性能的影响，并可视化了注意力分布。

关键观点4: 模型的局限性

分析了模型的局限性，如视觉伪影、提示跟随能力不足以及生成速度等，并讨论了未来改进的方向，如扩大数据规模、优化推理速度、改进VQ-VAE等。

免责声明