南洋理工提出 Split-Adaptation | 低比特前端+双级噪声守护隐私，小样本适配抗攻击性能领先

文章预览

前言   本文介绍 了一种新颖的分割适配（SA）方法，该方法在保护数据和模型的同时，能够有效地进行下游适配。SA受分割学习（SL）的启发，将预训练的ViT分割为前端和后端，仅将前端与客户端共享以进行数据表示提取。但与常规SL不同，SA用低比特量化值替换前端参数，防止模型直接暴露。SA允许客户端向前端和提取的数据表示添加双级噪声，确保数据保护。因此，SA结合了数据级和模型级分布外增强，以减轻噪声注入对适配性能的影响。 Pytorch训练营，花两个星期彻底掌握代码实现 CV各大方向专栏与各个部署框架最全教程整理 CV全栈指导班、基础入门班、论文指导班 全面上线!! 来源：集智书童 仅用于学术分享，若侵权请联系删除 导读 ViTs在大型数据集上进行了广泛预训练，已成为基础模型的重要组成部分，允许在下游任务上以最小的适应性实 ………………………………