大语言模型中的提示隐私保护

文章预览

大语言模型中的提示隐私保护 一、简介： 大语言模型（LLM） 拥有庞大的规模、预先训练的知识和卓越的性能，被广泛应用于各种任务。提示学习(prompt learning)和指令微调(instruction tuning) 是两种重要的使得大模型能理解具体任务的技术手段。然而，这些prompt或instruction常常会包含隐私信息，使得难以直接共享。本文讲解了两篇大语言模型中的prompt和instruction的隐私保护论文，它们都致力于如何在保护隐私的前提下利用大模型生成高质量的prompt和instruction。 二、Prompt的隐私保护： ❝ 论文：Flocks of Stochastic Parrots: Differentially Private Prompt Learning for Large Language Models 会议：NeurIPS 2023 Motivation 现有研究表明，LLM会记住用于训练或微调LLM的数据信息，从而造成数据隐私泄露 [1,2]。除了这些在训练/微调LLM时用到的数据隐私，当利用训练好的LLM执行下游任务时，所 ………………………………