我把DeepSeek-R1推理能力知识蒸馏到Qwen2，效果真的炸裂！！！

文章预览

我叫杨夕（wx: yzyykm666），一个对 AI 领域充满好奇的博主，如果你也对 AI 感兴趣，可以 + wx，申请加入学习群，和我一起交流 关注公众号：《关于NLP那些你不知道的事》，添加小编，备注【昵称-学校-想加入的学习群名称】，即可申请加入RAG学习群、LLMs九层妖塔、NLP & 推荐系统学习群、KBQA学习群、AiGC面试准备群、对话系统学习群、知识图谱学习群 、多模态学习群、文生图学习群、animate动作迁移学习群 我把DeepSeek-R1推理能力知识蒸馏到Qwen2，效果真的炸裂！！！ 一、什么是知识蒸馏？ 知识蒸馏是一种模型压缩技术，用于将大型复杂模型（教师模型）的知识迁移到小型模型（学生模型）。其核心原理是教师模型通过预测结果（如概率分布或推理过程）向学生模型传授知识，学生模型通过学习这些预测结果来提升自身性能。这种方法特别适用于资源 ………………………………