本文创新性地提出了时间自适应插值蒸馏 (TAID) 方法，通过动-20250202070202

文章预览

2025-02-02 07:02 本条微博链接 本文创新性地提出了时间自适应插值蒸馏 (TAID) 方法，通过动态调整蒸馏目标，有效解决了大型语言模型知识蒸馏中的能力差距和模式崩溃问题，在无需学生生成输出的情况下，显著提升了紧凑型模型的性能，并取得了最先进的结果，为高效构建高性能小模型提供了新的有效途径。 [ ………………………………