AI继续

文章预览

最近发生了太多事，谈谈自己观点，一家之言，不一定对。 1. o3开始，OpenAI会极力证明自己达到AGI 首先得承认，o3至少证明AI没有放缓。o1 preview到o1 pro发布仅3个月，没多久直接o3，单看“测试时间计算”这条路本身就有巨大空间。问题也很明显，成本昂贵、“针对性训练的数理化做题家”，但成本和延迟是最不重要的，随着NV这种超大节点一年一迭代， 成本延迟一定会快速通缩下降 。继续更新下我个人的认知（不一定对）： Pre-train只是公开互联网数据用完了，但前沿实验室和超大公司依然在尝试新数据源，只是预训练出的超大模型 直接部署应用不具有任何经济性 ，而更多被 “雪藏” 用于合成数据、教师模型。但从实质上， 卷LLM预训练的优先级就是降低了 o3证明test-time compute这另一条scaling law相比pre-train从经济上的效益更显著，且天花板还挺高 ………………………………