Diffusion反馈强势助力CLIP秒变火眼金睛：北京智源研究院、中科院自动化所联合推出DIVA

主要观点总结

本文介绍论文Diffusion Feedback Helps CLIP See Better，该文专注于通过自监督学习范式解决CLIP无法区分细粒度视觉细节的问题。作者及其团队提出了一种简单的CLIP模型后训练方法，通过自监督扩散过程在很大程度上克服了其视觉缺陷。该团队的方法是基于文本到图像的扩散模型来生成反馈，并优化CLIP的视觉细节表征。经过全面的实验验证，该方法在多个任务上取得了显著的性能提升。

关键观点总结

关键观点1: 研究背景与动机

CLIP模型在跨领域和跨模态的开放世界表示方面表现出色，但在细粒度视觉感知方面存在局限性。研究旨在通过自监督学习范式解决这一问题。

关键观点2: 方法介绍

提出了一个名为DIVA的框架，通过结合CLIP模型和预训练的扩散模型来解决CLIP的视觉缺陷。DIVA利用扩散模型的生成反馈来优化CLIP的视觉细节表征。

关键观点3: 实现细节

DIVA由两部分组成：需要增强视觉感知能力的CLIP模型和提供生成反馈的预训练扩散模型。通过最小化重建损失来训练模型，使扩散模型为CLIP提供视觉助手的功能。

关键观点4: 实验与结果

在多个任务上进行了实验验证，包括MMVP-VLM基准测试和多模态理解与视觉感知任务。实验结果显示，DIVA能够显著提高CLIP模型的性能，并且在泛化能力上保持原有水平。

关键观点5: 未来展望

指出当前方法的局限性和未来可改进的方向，包括扩展数据和模型规模，结合更细粒度的监督方案，以及探索超越图像-文本数据的其他模态，如视频和音频。

文章预览

本文分享论文 Diffusion Feedback Helps CLIP See Better ，专注于通过自监督学习范式解决CLIP无法区分细粒度视觉细节的问题。 作者：王文轩（中科院自动化所-智源研究院联培博一研究生），孙泉（智源研究院视觉模型研究中心算法研究员），张帆（智源研究院视觉模型研究中心算法研究员），唐业鹏（北交博一研究生），刘静（中科院自动化所研究员），王鑫龙（智源研究院视觉模型研究中心负责人） 单位：中科院自动化所，中国科学院大学，北京智源人工智能研究院，北京交通大学 论文链接：https://arxiv.org/abs/2407.20171 项目主页：https://rubics-xuan.github.io/DIVA/ 相关代码链接：https://github.com/baaivision/DIVA 动机何在？——CLIP视觉缺陷 对比语言-图像预训练（CLIP）在跨领域和跨模态的开放世界表示方面表现出色，已成为各种视觉和多模态任务的基础。 自从CLIP被 ………………………………