何凯明入职 MIT 首次带队提出Diffusion Loss，借鉴扩散模型思想让自回归模型抛弃矢量量化 ！

文章预览

传统观点认为，用于图像生成的自回归模型通常伴随着向量量化标记。作者观察到，尽管离散值空间可以促进表示分类分布，但这并非自回归建模的必要条件。 在这项工作中，作者提出使用扩散过程来建模每个标记的概率分布，这使得作者能够在连续值空间中应用自回归模型。作者不是使用分类交叉熵损失，而是定义了一个扩散损失函数来建模每个标记的概率。 这种方法消除了对离散值标记器的需求。作者在广泛的情况下评估了其有效性，包括标准自回归模型和广义 Mask 自回归（MAR）变体。 通过移除向量量化，作者的图像生成器在享受序列建模速度优势的同时，取得了强大的成果。 作者希望这项工作将激发在其他连续值领域和应用中使用自回归生成的兴趣。 1 Introduction 自回归模型目前是自然语言处理中生成模型的实际解决方案。这些模型基于 ………………………………