文章预览
关注 「 AIWalker 」 并 星标 从此AI不迷路 作者: Lijie Fan等 解读: AI生成未来 文章链接:https://arxiv.org/pdf/2410.13863 缩放法则(Scaling laws) 是大语言模型(LLMs)前所未有成功的基础。实证研究表明,在自回归模型中增加参数数量通常会显著提升性能,并在自然语言处理(NLP)任务中产生新的能力。这一实证关系激励了众多扩展语言模型的努力,导致许多高性能模型的发展。受到这一成功的鼓舞,许多尝试将自回归模型应用并扩展到计算机视觉领域,特别是在文本到图像生成等生成任务中。然而,这些模型生成的内容在性能和视觉质量上往往不及其他生成模型,如扩散模型,使得在视觉领域是否适用类似的缩放法则仍不清楚。 本文提出了几个关于性能差距的假设。 首先,大多数视觉自回归模型所需的矢量量化(VQ)步骤可能会引入显著的信息
………………………………