仅128个token达到ImageNet生成SOTA性能！MAETok:有效的扩散模型的关键是什么？

文章预览

↑ 点击 蓝字  关注极市平台 作者丨AI生成未来 来源丨AI生成未来 编辑丨极市平台 极市导读   MAETok在仅使用128个token的情况下，于256×256和512×512分辨率的ImageNet生成任务上达到了SOTA性能，同时训练速度提升76倍，推理吞吐量提升31倍。  >> 加入极市CV技术交流群，走在计算机视觉的最前沿 论文链接： https://arxiv.org/pdf/2502.03444 项目链接： https://github.com/Hhhhhhao/continuous_tokenizer 亮点直击 理论与实验分析 ：通过实验和理论分析建立了隐空间结构与扩散模型性能之间的联系。揭示了具有更少高斯混合模型（GMM）模式的结构化潜空间能够更有效地训练和生成扩散模型。 MAETok ：使用mask建模训练普通自编码器（AE），并证明了具有更具判别性的潜空间的简单 AE 能够加速学习、提高生成质量，并提升扩散模型的吞吐量，从而表明 VAE 的变分正则化并非必要。 SOTA ………………………………