ScalingLaw终结了么?

文章预览

暴论为先:  Inference ScalingLaw的实质是:  高阶范畴视角下的Self-Prompt. 是不是能够Scaling,需要模型厂商尽快的去做SAE并开源数据. 从高阶范畴的角度来构建另一个维度的Attention才是整个大模型突破的方向. 大概的故事线是: The Information报道, OAI的训练和模型进化速度变缓,导致GPT5难产已成定局 然后又有某个人在X上说, 似乎另一家在训练的时候遇到了一个未曾遇到的Huge Wall Bloomberg随后把范围扩大到OAI,Anthropic,Google, 发现大家都在推迟新模型发布. 但是AI社区内大家还是有很强的信心的, 特别是对推理的ScalingLaw 然后就是Ilya Suskever出来补刀: I told you so 有争议的地方必然有Lecun, 也来I told you so Anthropic CEO Dario出来押注ScalingLaw还继续存在 Sam Altman则直接嘴硬: there is no wall 突然想到去年元旦时读过的《献给阿尔吉侬的花束》, 它是一本科幻小说, 故事叙述一名心智障碍 ………………………………