专治大模型“套壳”！上海AI实验室等给LLM做“指纹识别”，模型剪枝、合并等也无所遁形

文章预览

上海AI Lab邵婧课题组 投稿 量子位 | 公众号 QbitAI 大模型“套壳”事件防不胜防，有没有方法可以检测套壳行为呢？ 来自上海AI实验室、中科院、人大和上交大的学者们，提出了一种大模型的“指纹识别”方法—— REEF （Representation Encoding Fingerprints） 。 在不改变模型性能的前提下，利用REEF就可以精准识别未经授权的后续开发行为。 REEF依赖模型在微调后表征“不变性”的特点，基于表征编码实现对大模型的“指纹鉴别”。 并且 即使经过剪枝、合并、参数排列和缩放变换等一系列操作，同样能让“套壳”行为无所遁形 。 可以说，这项研究给大模型开发团队提供了一种应对大模型侵权问题的新手段。 大模型表征具有“微调不变性” 注： 在下文中，“源模型”是指从头训练的LLM（即论文中victim model），如Llama、Qwen等； “被测模型”（即论文中的suspe ………………………………