ICLR 2025 | 小型AI也能懂人类？中山大学全新方法ADPA让小模型对齐实现大突破！

主要观点总结

本文介绍了小型语言模型（SLMs）在人工智能世界中的挑战和对齐问题。利用大模型对齐技术的新突破来解决小模型对齐难题，其中提出的研究利用大模型指导小模型学习人类偏好，通过知识蒸馏（KD）让小模型继承大模型的理解能力。文章详细介绍了该研究中的双重约束知识蒸馏（DCKD）和优势引导蒸馏（ADPA）方法，并通过实验证明其有效性。文章还涵盖了消融实验、样本复杂度的分析和不同奖励级别的实验等内容。

关键观点总结

关键观点1: 小型语言模型（SLMs）在人工智能世界中的挑战和对齐问题。

SLMs面临对齐难题，即如何微调这些模型以遵循指令。目前存在的方法在对齐小模型方面仍有不足，针对这一问题，提出利用大模型对齐技术来指导小模型学习。

关键观点2: 利用大模型指导小模型学习人类偏好的方法。

研究利用知识蒸馏（KD）技术，通过大模型的分布粒度的指导和O(1)的样本复杂度，让小模型直接继承大模型对于人类偏好的理解能力。

关键观点3: 双重约束知识蒸馏（DCKD）和优势引导蒸馏（ADPA）方法的详细介绍。

DCKD方法在传统知识蒸馏的基础上增加了一个额外的KL散度约束，同时考虑正向和反向信号。ADPA方法通过引入优势函数进一步优化训练过程，显著提升小模型的对齐能力。

关键观点4: 实验证明的有效性。

文章通过一系列实验证明DCKD和ADPA方法的有效性，包括与其他方法的比较和消融实验。实验结果表明，这些方法在提升小模型对齐效果方面效果显著。

文章预览

©PaperWeekly 原创   ·   作者  |  高世平 单位  |  中山大学硕士生 研究方向  |  语言模型偏好对齐 背景 在  AI  的世界里，大型语言模型（ LLMs ）凭借强大的参数量和计算能力，已经能够生成与人类偏好高度一致的回答，成为  ChatGPT  等明星产品的核心。然而，这些“大块头”模型对算力和内存的需求极高，难以在手机、边缘设备等资源受限场景中普及。 于是，小型语言模型（ SLMs ）成为了备受关注的替代方案 —— 它们轻量、高效，却面临一个棘手的问题：在对齐人类偏好后，效果往往不佳，通用性能甚至会下降。这种现象被研究者称为“对齐税”（ Alignment Tax ），仿佛小模型在努力“理解”人类时，付出了额外的代价。 1.1 小模型对齐的难题： Hugging Face 的坦言 Hugging Face  首席科学官（ CSO ）之一托马斯·沃尔夫（ Thomas Wolf ）在  2024  年  8 ………………………………