从 Mamba 到 RWKV-SAM | 速度提高2倍，分类和语义分割都优于 Mamba 模型 ！

文章预览

点击下方卡片，关注 「AI视界引擎」 公众号 扫码进群：方向+学校/公司+昵称/姓名 基于Transformer的分割方法在处理高分辨率图像时面临着有效推理的挑战。最近，一些线性注意力架构，如Mamba和RWKV，因其能够高效处理长序列而受到广泛关注。在这项工作中，作者通过探索这些不同的架构来设计一个高效的“分割任何物体”模型。 具体来说，作者设计了一个混合骨架，包含卷积和RWKV操作，它在准确性和效率上都取得了最佳效果。 此外，作者还设计了一个有效的解码器，利用多尺度标记来获得高质量的 Mask 。 作者将作者的方法称为RWKV-SAM，这是一个简单、有效、快速的SAM-like模型的 Baseline 。 此外，作者构建了一个包含各种高质量分割数据集的基准，并使用这个基准共同训练一个既高效又高质量的分割模型。 根据基准结果，与Transformer和其他线性注意 ………………………………