2025-01-22 10:07
本条微博链接
模型被问的最多的一类问题是:“你是什么模型?你的开发者是谁?”,然而你有时候并不能得到准确的答案,很多模型会自称是 GPT-4 或者 Claude,但实际上它们并不是。而造成这种问题的原因就是这些模型是用其他模型的数据“蒸馏(Distillation)”而来的。 最近中科大、北大、零一万物等六家机构发表了一篇论文《Distillation Quantification for Large Language Models》就是研究这些大语言模型蒸馏程度的
………………………………