CLIP还能再战 ！结合Mamba超越传统，仅用1/5参数就达到天花板性能

文章预览

CLIP是由OpenAI开发的多模态预训练模型，具有非常强的泛化能力、高效性和灵活性。 目前关于CLIP的研究主要是将它与其他技术结合 ，以实现更复杂的多模态任务。这种策略不仅可以很大程度上提升模型的性能，还给我们提供了更大的创新空间，很多研究也已经在多个领域获得了显著的成效。 比如首次提出的CLIP-Mamba模型，仅用1/5参数就达到ViT天花板性能；还有北大最新的CLIP-GS，在实时渲染速度和分割精度方面实现SOTA效果。 为帮助同学们了解最新动态，这次我整理了 12个 最新的CLIP结合创新方案 ，基本都有开源代码，包含了热门的Mamba、Transformer等主题，希望能给各位提供新的思路。 扫码 添加小享， 回复“ CLIP创新 ”    免费获取 全部 论 文+代码合集 结合Mamba CLIP-Mamba: CLIP Pretrained Mamba Models withOOD and Hessian Evaluation 方法： 论文介绍了第一次尝试使 ………………………………