MIT何恺明团队与Deepmind合作开发模型Fluid，让Scaling Law在视觉自回归模型中一样有效！

主要观点总结

本文介绍了在视觉自回归模型中，缩放定律的应用及与扩散模型的性能差距。Google DeepMind与麻省理工学院何恺明团队针对图像生成任务提出了Fluid模型，采用连续标记表示法和随机生成顺序，旨在提高自回归文本到图像生成模型的性能和视觉效果。实验结果显示，Fluid模型在多个评价指标上取得优异成绩，并在扩展参数规模时表现出稳定的性能提升。

关键观点总结

关键观点1: 视觉自回归模型中缩放定律的应用与性能差距

文章探讨了视觉自回归模型中，不断扩大规模并不一定能提升性能的现象，以及扩散模型在图像生成领域的优势。

关键观点2: Fluid模型的出现与特点

文章介绍了Google DeepMind与麻省理工学院何恺明团队提出的Fluid模型，该模型采用连续标记表示法和随机生成顺序，以提高图像生成的质量和全局结构调整能力。

关键观点3: Fluid模型实验结果的展示

文章详细说明了Fluid模型在多个评价指标上的优异表现，以及在扩展参数规模时的稳定性。

关键观点4: 研究的意义与未来展望

文章指出，Fluid模型的成功为自回归模型在图像生成领域的扩展行为提供了有价值的见解，并有助于缩小视觉模型和语言模型的扩展性能差距。

文章预览

缩放定律（Scaling Law）是大语言模型（Large Language Model，LLM）取得成功的关键之一，但在视觉自回归模型中，情况却完全不同。 不断扩大自回归模型的规模，并不能让其在视觉领域中的性能飞升。 相比之下，扩散模型凭借其生成过程中的多步优化，展现出更强的图像生成能力和视觉细节表现，这使得部分学者开始怀疑，缩放定律真的适用视觉领域吗？ 不过，由于自回归模型在文生图等跨模态应用及全局结构调整能力等方面还具有较大潜力。因此，我们还是有必要进一步理解自其在计算机视觉生成任务中的缩放行为。 于是，针对这种性能差距，Google DeepMind 与麻省理工学院 何恺明 团队提出了假设。 他们认为，图像生成任务中常用的向量量化（Vector Quantization, VQ）步骤可能引入了大量信息损失，限制了模型的生成能力。相比之下，使用连续的 token 表 ………………………………