大模型知识蒸馏的两种方式

文章预览

       上个月llama3.1的405B已经发布，除了感叹开源模型效果的厉害之外，另一个普遍的感受就是，跑不动，根本跑不动，没资源，就算能训练，也部署不起。所以很多人就自然而然关注到了知识蒸馏，通过将大模型能力迁移到小模型能力上。于是大概调研了下，本文主要是对清华的 《MiniLLM：Knowledge Distillation of Large Language Models》 和Meta的 《Distilling System2 into System1》 一些解读，刚好他们分别作为白盒蒸馏和黑盒蒸馏的一个典型代表。        在知乎搜了一下minillm相关的文章，如《 吃果冻不吐果冻皮：大模型知识蒸馏概述 》总结性的介绍了下minillm的逆向kl散度的思路。即最小化前向 Kullback-Leibler 散度 (KLD) 的挑战为教师分布中不太可能的区域出现概率过高，从而在自由运行生成过程中导致不可能的样本 。为了解决这个问题，MINILLM 选择最小化逆向 ………………………………