谈谈CoT和推理的Scaling Law

文章预览

草莓几天的热度似乎很快的褪去,  大概只有Google和Meta两家的两个华人在怼CoT有点意思, 当然还有每次吵架都要凑热闹的Lecun... 一方是DeepMind在今年五月的论文, 另一方是meta的回复... 对于渣个人的看法就是, 你给我足够多的猴子和打印机以及足够多的时间, 我都可以给你弄一个Monkey Scaling Law出来,并且Almost Surely Sky's the limit. 一群人尬聊吵架真无趣, 好好看看o1这个号称IMO/IOI金牌级的选手, 20以内整数运算的能力? 突然有点迷茫, 当所有人在谈Scaling Law的时候, 好像所有人又对算法复杂度,可计算性避而不谈, 反正GPU可以每年性能翻倍么? 或者老板投的钱可以每年翻10倍么? 其实问题的关键是: 体系结构的架构师和算法架构师是完全割裂的...  一个比较有意思的问题, 如何给LLM装一个ALU呢? 例如O1-mini已经差不多搞定了9x9以内的乘法, 是否可以通过一些特殊的代数 ………………………………