【深度学习】知识蒸馏：如何用一个神经网络训练另一个神经网络

文章预览

仅作学术分享，不代表本公众号立场，侵权联系删除 转载于： 深度学习这件小事 如果你曾经用神经网络来解决一个复杂的问题，你就会知道它们的尺寸可能非常巨大，包含数百万个参数。例如著名的BERT模型约有1亿1千万参数。 为了说明这一点，参见下图中的NLP中最常见架构的参数数量。 各种模型结构的参数数量 在Kaggle竞赛中，胜出的模型通常是由几个模型组成的集合。尽管它们在精确度上可以大大超过简单模型，但其巨大的计算成本使它们在实际应用中完全无法使用。 有没有什么方法可以在不扩展硬件的情况下利用这些强大但庞大的模型来训练最先进的模型？ 目前，有三种方法可以压缩神经网络，同时保持预测性能： 权值裁剪 量化 知识蒸馏 在这篇文章中，我的目标是向你介绍“知识蒸馏”的基本原理，这是一个令人难以置信的令人兴奋的 ………………………………