对话AI科学家刘威：“Ilya预训练终结论”对中国大模型公司影响不大

文章预览

出品｜虎嗅科技组 作者｜苏子华 编辑｜苗正卿 题图｜AI生成 过去一段时间，“预训练终结”成为了 AI 领域最热烈的讨论之一。 OpenAI的GPT系列模型此前大踏步的前进，预训练是核心推动力。而前 OpenAI 首席科学家 Ilya Sutskever、预训练和scaling law（规模定律）最忠实的倡导者，却宣称预训练要终结了、scaling law要失效。由此，引发了大量争议。 与之相对应的，是GPT-5被曝研发受阻，已经比预期晚了6个月。似乎印证了Ilya的判断。  大模型公司的未来，是否因此都蒙上了阴影？在刘威看来，所谓的预训练终结对中国的大模型公司影响不大，还不必担心。而据他对Ilya的了解，Ilya的话不能只看表面意思。 刘威是前腾讯混元大模型技术负责人之一，腾讯杰出科学家，前不久刚刚低调开启AI领域的创业征程。 他于2016年加入腾讯AI Lab，与AI Lab另外两位负责人张 ………………………………