文章预览
来源：专知 本文 约1000字 ，建议阅读 5 分钟 尽管模型规模较小，TinyLLM在性能上显著超越了大型教师LLMs。 将推理能力从更强大的大型语言模型（LLMs）转移到较小模型一直具有很大的吸引力，因为较小的LLMs在部署时更加灵活且成本较低。在现有的解决方案中，知识蒸馏因其卓越的效率和泛化能力而脱颖而出。然而，现有的方法存在若干缺点，包括知识多样性有限和缺乏丰富的上下文信息。为了应对这些问题并促进紧凑语言模型的学习，我们提出了TinyLLM，一种新的知识蒸馏范式，用于从多个大型教师LLMs学习一个小型学生LLM。具体来说，我们鼓励学生LLM不仅生成正确的答案，还要理解这些答案背后的推理过程。鉴于不同的LLMs拥有多样的推理能力，我们引导学生模型从各种教师LLMs吸收知识。我们进一步引入了一个上下文示例生成器和一个教师引导的
………………………………
