【斯坦福博士论文】有效的差分隐私深度学习，153页pdf

文章预览

深度学习模型在训练过程中使用了敏感数据，当这些模型被部署时，可能会泄露隐私 。例如，使用标准算法训练的语言模型可能会重复训练数据并揭示数据贡献者的成员信息。差分隐私（Differential Privacy, DP）是一种正式的保证，可以证明其限制隐私泄露，并已成为隐私保护统计数据分析的黄金标准。然而，大多数使用DP训练深度学习模型的方法计算强度高，并且会显著降低模型的任务性能。本文提出了用于深度学习的改进差分隐私技术，这些技术更加高效且具有更好的性能。这些技术在工业界受到越来越多的关注，并已在主要科技公司的差分隐私机器学习部署中使用，保护用户隐私并提供可观的计算节省。 我们表明，当差分隐私随机梯度下降（DP-SGD）适当地应用于微调质量和规模不断提升的预训练模型时，会产生一致更好的隐私-效用折衷 。与标 ………………………………