对比学习滥用隐私数据！中科院等发布「多步误差最小化」方法 | ACM MM2024

文章预览

   新智元报道   编辑：LRST 好困 【新智元导读】 研究人员提出了一种新颖的多步误差最小化（MEM）方法，用于生成多模态不可学习样本，以保护个人数据不被多模态对比学习模型滥用。通过优化图像噪声和文本触发器，MEM方法有效地误导模型，降低其对隐私数据的学习能力，并在不同模型间展现出强大的可迁移性。 多模态对比学习（如CLIP）通过从互联网上抓取的数百万个图像-字幕对中学习，在零样本分类方面取得了显著进展。 然而，这种依赖带来了隐私风险，因为黑客可能会未经授权地利用图像-文本数据进行模型训练，其中可能包括个人和隐私敏感信息。 最近的工作提出通过向训练图像添加难以察觉的扰动来生成不可学习样本（Unlearnable Examples），可以建立带有保护的捷径. 然而，这些方法是为单模态分类任务设计的，在多模态对比学习中 ………………………………