CLIP 后门样本检测：揭示网络数据集中的后门风险丨ICLR 2025

文章预览

CLIP后门样本检测领域取得重要突破——5分钟内清洗百万数据，发现自然后门样本并揭示OpenCLIP预训练模型中的后门风险。 随着多模态模型的快速发展，其安全问题日益受到关注，尤其是潜在的后门投毒风险。近日，墨尔本大学、复旦大学与新加坡管理大学的研究团队在CLIP后门样本检测领域取得重要突破， 提出了一种面向工业场景的大规模数据集轻量化后门检测方法（4卡A100可在5分钟内清洗一百万条图文数据） 。该方法不仅能高效识别潜在的后门投毒样本，还 在现有数据集中首次发现了自然存在的后门样本 。同时，研究团队发现 热门开源项目OpenCLIP发布的预训练模型中已被植入后门 ，为多模态大模型的安全性研究提供了重要依据。相关论文已被国际顶级会议ICLR 2025接收。 论文地址：https://arxiv.org/pdf/2502.01385 GitHub链接：https://github.com/HanxunH/Detect- ………………………………