AAAI 2025 | 浙大、蚂蚁等提出全新跨域微调框架，构筑更好的大模型隐私保护

文章预览

©作者 |  姚凯 单位 |  蚂蚁摩斯、浙江大学 要让大模型适应各不一样的下游任务，微调必不可少。常规的中心化微调过程需要模型和数据存在于同一位置 —— 要么需要数据所有者上传数据（这会威胁到数据所有者的数据隐私），要么模型所有者需要共享模型权重（这又可能泄露自己花费大量资源训练的模型）。此外，在第二种情况下，模型的参数可能暴露，这可能会增加其微调模型受到攻击的可能性。这些问题都可能阻碍 LLM 的长期发展。 为了有效地保护模型所有权和数据隐私，浙江大学、蚂蚁数科、利物浦大学和华东师范大学的朱建科与王维团队提出了一种 全新的跨域微调（offsite-tuning）框架：ScaleOT 。该框架可为模型隐私提供多种不同规模的有损压缩的仿真器，还能促进无损微调（相比于完整的微调）。 该研究论文已被人工智能顶会 AAAI 202 ………………………………