融合 Mamba 与 Transformer｜MaskMamba 引领非自回归图像合成,推理速度提升 54.44% !

文章预览

↑ 点击 蓝字  关注极市平台 作者丨AI视界引擎 来源丨AI视界引擎 编辑丨极市平台 极市导读   本文介绍了一种名为MaskMamba的新型混合模型，它融合了Mamba和Transformer架构，通过Masked Image Modeling实现非自回归图像合成，显著提升了推理速度并提高了生成质量。MaskMamba在2048x2048分辨率下的推理速度提升了54.44%，同时在条件生成和文本生成任务中展现出优越的性能。   >> 加入极市CV技术交流群，走在计算机视觉的最前沿 图像生成模型遇到了与可扩展性和二次复杂性相关的挑战，主要原因是依赖于基于Transformer的 Backbone 网络。 在本研究中，作者引入了一种新颖的混合模型MaskMamba，它结合了Mambo和Transformer架构，使用Masked Image Modeling进行非自回归图像合成。 作者仔细重新设计了双向Mamba架构，通过实现两个关键的修改： （1）用标准卷积替换因果卷积，以更 ………………………………