原来，这些顶级大模型都是蒸馏的

文章预览

↑ 点击 蓝字  关注极市平台 来源丨机器之心 极市导读   一些顶级的 AI 科技公司可能已经构建出了非常智能的模型。   >> 加入极市CV技术交流群，走在计算机视觉的最前沿 「除了 Claude、豆包和 Gemini 之外，知名的闭源和开源 LLM 通常表现出很高的蒸馏度。」这是中国科学院深圳先进技术研究院、北大、零一万物等机构的研究者在一篇新论文中得出的结论。 前段时间，一位海外技术分析师在一篇博客中提出了一个猜想：一些顶级的 AI 科技公司可能已经构建出了非常智能的模型，比如 OpenAI 可能构建出了 GPT-5，Claude 构建出了 Opus 3.5。但由于运营成本太高等原因，他们将其应用在了内部，通过蒸馏等方法来改进小模型的能力，然后依靠这些小模型来盈利 当然，这只是他的个人猜测。不过，从新论文的结论来看，「蒸馏」在顶级模型中的应用范围确实 ………………………………