Mamba+Transformer！昆仑万维提出用于Diffusion的新架构Dimba！

文章预览

关注 「 AIWalker 」 并 星标 从此AI不迷路 来源于 数源AI ，作者 小源 论文名：Dimba: Transformer-Mamba Diffusion Models 论文链接： https://arxiv.org/pdf/22406.01159.pdf 开源代码：https://dimba-project.github.io/ 引言 扩散模型（diffusion models）通过噪声创建数据，并通过训练数据路径的反转来生成数 据，这些路径最终会导向随机噪声。通过利用神经网络固有的近似和泛化属性，这些模型 可以生成训练集中所没有、但仍然符合其分布的新数据点。这种生成式建模技术 已证明可有效处理高维感知数据，例如图像。 另一方面，状态空间模型（SSM）的进步为在计算效率和模型灵活性之间取得平衡开辟了 新纪元。它们处理长序列的效率归因于卷积计算和近乎线性的计算复杂度。最近，Mamba通过将时变参数纳入SSM并提出一种硬件感知算法，在训练和推理方面取得了进步。Mamba的优越的 ………………………………