G.O.S.S.I.P 阅读推荐 2025-03-07 基于互信息引导的预训练编码器后门攻击缓解方法

文章预览

今天给大家推荐的是由南京大学、南洋理工大学、新南威尔士大学、及普渡大学等高校的研究团队联合完成并发表在IEEE Transactions on Information Forensics and Securit(TIFS)的论文Mutual Information Guided Backdoor Mitigation for Pre-trained Encoders。该研究提出了一种创新性的方法MIMIC（Mutual Information guided backdoor MItigation for pre-trained enCoders），能够有效检测并缓解自监督学习（SSL）环境下的后门攻击问题，在仅使用不超过5%干净预训练数据的情况下，成功降低了攻击成功率，超越现有的七种主流防御技术。 研究背景 图 1自监督学习后门攻击范式 近年来，自监督学习（SSL）在计算机视觉和自然语言处理等领域取得了突破性进展。SSL通过在无标签数据上预训练编码器，使得其在多个下游任务上接近甚至达到有监督学习的性能。然而，由于SSL模型通常依赖从互联网爬取的大规模 ………………………………