ACM MM2024｜多模态不可学习样本：保护数据免受多模态对比学习的威胁

文章预览

↑ 点击 蓝字  关注极市平台 作者 丨刘心玮，加小俊，寻源，梁思源，操晓春 编辑丨极市平台 极市导读   在本文中，作者探索了 多模态 数据保护，特别关注图像-文本对，并生成了多模态不可学习样本来防止被多模态对比学习利用。   >> 加入极市CV技术交流群，走在计算机视觉的最前沿 作者介绍 本文作者来自中科院信工所、南洋理工大学、新加坡国立大学和中山大学。作者列表：刘心玮，加小俊，寻源，梁思源，操晓春。其中，第一作者刘心玮是中科院信工所博士生。通讯作者中山大学操晓春教授（主页：https://scst.sysu.edu.cn/members/caoxiaochun.html）和和南洋理工大学的加小俊博士后研究员（主页：https://jiaxiaojunqaq.github.io）。 导读 多模态对比学习（如CLIP）通过从互联网上抓取的数百万个图像-字幕对中学习，在零样本分类方面取得了显著进展。然 ………………………………