ECCV'24｜ClearCLIP：倒反天罡，删除两个组件反而可以提升密集预测性能

文章预览

↑ 点击 蓝字  关注极市平台 作者丨晓飞的算法工程笔记 来源丨晓飞的算法工程笔记 编辑丨极市平台 极市导读   本文介绍了一种名为ClearCLIP的视觉-语言推理模型，它通过在CLIP模型的最后一层中去除残差连接、采用自注意力机制和舍弃前馈网络（FFN），来增强模型在密集视觉-语言推理任务中的性能，特别是在开放词汇语义分割任务上。ClearCLIP在多个基准测试中表现出比现有方法更清晰、更准确的分割图。   >> 加入极市CV技术交流群，走在计算机视觉的最前沿 论文地址： https://arxiv.org/abs/2407.12442 论文代码： https://github.com/mc-lan/ClearCLIP 创新点 发现两个关键因素在将 CLIP 适配密集视觉-语言推理中起着至关重要的作用：残差连接影响的减少以及通过自注意力机制的空间信息重组。 提出 ClearCLIP ，在 CLIP 的最后一层中进行了三项简单的修改：去除残差 ………………………………