怎么理解Ilya说的“AI放缓了”

文章预览

梳理下时间线，The Information周日文章说Pre-Train模型的预训练“撞墙”了，昨天ilya接受路透采访，说了同样的话，原文如下： The Information口碑参差不齐， 但ilya也这么说，一石激起千层浪。 实际上预训练边际效果递减这事儿已经传了很久。7月份第一次传GPT-5训练不顺利，8月份开始流传“LLM语言模型预训练放缓，RL强化学习Post train优先级提高”，但前半句被当成 “华人圈小作文” ，觉得北美如火如荼，大家都在搞10万卡20万卡，预训练并没有停。这期间扎克伯格、Anthropic Dario、xAI都出来讲Scaling Law没有放缓。到9月o1出来，Sam Altman甚至提出预训练scaling+推理scaling，双发动机。  到今天有结论了吗？ 个人觉得80%的可能Pre-Train预训练已经撞墙了，但并不是原理上，毕竟scaling law是个经验性定律，和摩尔定律一样，没到做出来你也不知道证伪与否 ，但： 经 ………………………………