来自非自回归模型的反击？全新文生图基座模型Meissonic：1B文生图Non-AR新范式，专为消费级显卡设计

主要观点总结

Meissonic是一个基于非自回归掩码图像建模（MIM）的文本到图像（T2I）模型，通过一系列技术创新实现了图像质量和生成效率的提升。文章介绍了Meissonic模型的优点和技术创新，包括增强型Transformer架构、先进的位置编码和动态采样条件，以及特征压缩层等。

关键观点总结

关键观点1: Meissonic模型采用非自回归的掩码图像建模（MIM）方法，为高效、高分辨率的T2I生成设立了新的标杆。

Meissonic模型通过架构创新、先进的位置编码策略以及优化的采样方式等技术手段，实现了在图像质量和生成效率上的显著提升，与领先的扩散模型相比，在某些场景下具有更好的表现。

关键观点2: Meissonic模型通过多模态与单模态相结合的Transformer层，捕捉语言与视觉之间的交互信息，提升生成图像的质量和稳定性。

多模态Transformer层旨在架起文本和视觉之间的桥梁，而单模态Transformer层则进一步细化视觉表示。研究表明，这种架构下多模态与单模态Transformer层的1:2比例能够实现最佳性能。

关键观点3: Meissonic模型通过引入高质量的训练数据集和基于人类偏好评分的微观条件进行训练，大幅提升了图像的保真度与分辨率。

同时，采用特征压缩层在保持高分辨率的同时提高生成效率。此外，Meissonic模型还展现出超强的zero-shot图像编辑能力，无需微调即可对有mask和无mask的场景进行灵活编辑。

关键观点4: Meissonic模型训练过程中采用四阶段训练流程，实现高效推理与训练的结合。

这四个阶段包括理解基础概念、增强文本与图像的配对、实现高分辨率图像生成以及精细化高分辨率图像的美学生成。这一训练流程使Meissonic模型在训练数据和计算成本上显著减少，同时提升了模型生成的图像质量和多样性。

文章预览

↑ 点击 蓝字  关注极市平台 作者丨阿里、港科大、颜水成（昆仑天工）等作者 编辑丨极市平台 极市导读   Meissonic，一个基于非自回归掩码图像建模（MIM）的新型文本到图像（T2I）模型，Meissonic通过一系列技术创新，如增强型Transformer架构、先进的位置编码和动态采样条件，以及特征压缩层，实现了在图像质量和生成效率上的显著提升。  >> 加入极市CV技术交流群，走在计算机视觉的最前沿 近年来，大语言模型在自然语言处理领域取得了突破性的进展。以LLaMA和Qwen等模型为代表，这些模型通过遵循扩展规律，展现出强大的语言处理能力。这些成功促使研究者们探索类似方法在文生图（T2I）任务中的应用。然而，现有的T2I模型在架构和生成机制上仍存在诸多限制，尤其是在生成高分辨率图像时，效率较低。 在视觉生成领域，扩散模型（如Stable Diffus ………………………………