ACM MM 2024 | 揭示文生图扩散模型的结构级记忆，提升成员推理攻击成功率

文章预览

©PaperWeekly 原创 · 作者 |  李乔 单位 |  中国科学院信息工程研究所 大规模文生图扩散模型的发展所带来的风险和安全问题引发了广泛关注。模型开发者可能会滥用未授权的数据来训练扩散模型，这些数据存在被模型记忆的风险，从而可能侵犯公民的隐私权。成员推理攻击（Membership Inference Attack, MIA）方法可以用于判断特定图片是否被用于模型训练。然而，当前针对扩散模型的 MIA 方法都是利用模型像素级的记忆特性。对于规模数以亿级的训练集，模型难以记住所有像素的信息，因而方法性能受限。 本文首次对文生图扩散模型结构级别的记忆进行研究，并提出了一种基于结构相似度的 MIA 方法，在显著提升对大规模训练集的攻击准确率的同时，对于多种图像扰动都具有高鲁棒性。该论文已被 ACM MM 2024 接收。 论文标题： Unveiling Structural Memorization: Str ………………………………