MAR(Masked AutoRegressive): 破除封建迷信——谁说自回归图像生成一定需要 VQ的！

文章预览

作者丨CW不要無聊的風格 编辑丨极市平台 极市导读   文章讨论了MAR模型和VQ技术在自然语言处理中的应用。文章首先介绍了autoregressive模型的基本原理，然后指出了LLMs在处理这类模型时可能遇到的挑战。接着，文章重点介绍了VQ技术，这是一种将连续值向量映射到离散表示的方法，有助于提高模型的效率和性能。  前言 提到自回归(autoregressive)，相信有人会立马举手说： 这个我熟！就是 _从左到右按顺序一个个地进行预测_，现在如火如荼的 LLMs 就是这么玩的。 没毛病~ 这种认知似乎已经成为一种刻板印象烙在我们脑子里了。 进一步，如果将自回归生成用于图像，那么就需要对连续(continuous-valued)的像素进行离散化，变为离散的 token，从而才能在预测时实现对 token 的分类预测，这种离散化的技术被称作 "VQ(Vector Quantization)". 嗯，这又是一个刻板印象 ………………………………