中科院北大等揭示「蒸馏真相」：除Claude豆包Gemini，其他很多模型都「蒸」过头

主要观点总结

本文旨在评估大语言模型的蒸馏程度，通过两种互补的指标：响应相似性评估（RSE）和身份一致性评估（ICE）来量化评估特定的大语言模型集合。实验结果表明，大多数知名的闭源和开源大语言模型表现出较高的蒸馏程度，而基础大语言模型相比对齐后的大语言模型表现出更高的蒸馏水平。文章提倡进行更独立和透明的开发，以提升大语言模型的稳健性和安全性。

关键观点总结

关键观点1: 研究背景

随着大语言模型（LLMs）的广泛应用，模型蒸馏技术变得至关重要。然而，过度蒸馏可能导致模型间的同质化，降低其处理复杂任务的能力。

关键观点2: 主要方法

文章提出了两种评估大语言模型蒸馏程度的特定指标：响应相似性评估（RSE）和身份一致性评估（ICE）。通过一系列实验来验证这两个指标的有效性和可靠性。

关键观点3: 实验结果

实验结果显示，知名的大语言模型通常表现出较高的蒸馏程度。此外，基础大语言模型相比对齐后的大语言模型表现出更高的蒸馏水平。这些发现通过额外的实验得到了进一步验证。

关键观点4: 研究结论

文章提倡在提高大语言模型的稳健性和安全性的同时，进行更独立和透明的开发。提出的评估框架为量化大语言模型的蒸馏程度提供了有效手段。

文章预览

文章转载于新智元 模型蒸馏是一种将知识从大型语言模型（LLMs）转移到较小模型的技术，旨在创建资源高效且性能卓越的模型。 然而，过度蒸馏可能会导致同质化，降低模型之间的多样性，并削弱它们稳健处理复杂或新任务的能力。这些限制凸显了系统地量化蒸馏过程及其影响的必要性。 来自中国科学院深圳先进技术研究院、北京大学等多家机构的研究者们提出了一个评估和量化模型蒸馏的metric。其方法解决了两个关键方面的问题： 1. 识别身份认知矛盾，以评估模型在感知和表示身份相关信息方面的差异； 2. 分析模型间的多粒度响应相似性，以衡量同质化的程度。 实验结果揭示了两个关键发现： 1. 除了Claude、豆包（Doubao）和Gemini之外，知名的闭源和开源大语言模型通常表现出较高的蒸馏程度。 2. 基础大语言模型比对齐后的大语言模型表现出 ………………………………