今天看啥  ›  专栏  ›  zartbot

Pretrain ScalingLaw真的终结了么?

zartbot  · 公众号  ·  · 2025-01-05 18:29
    

文章预览

ilya在neurips 2024关于Pre-training的演讲被广泛传播 但是Pretrain ScalingLaw真的终结了么? 诚然算力在增长, Data并没有. 既然data作为AI的fossil fuel,如果把大模型比成一个油车, 合成数据 (Synthetic data)似乎就有点生物燃料的味道, 但是这条路上的GPT5尚处在难产阶段...那么大模型的“新能源车”在哪? 或许身在圈中的人并不愿意提及这个话题, 这意味着基于Transformer的“油车大模型”路径的终结, 而新的“电车大模型”的框架似乎还有大量的问题悬而未决... 渣B前年在 《大模型时代的数学基础(4)》 中介绍了一些路径, 例如RWKV/Mamba/MoE等.. 例如Mamba相对于transformer的一些改进: 似乎在这个基础上, 缝合的“混动的大模型”产生了, 不得不提一个漫画~ 那么是否还有新的算法出现呢?例如能够超越Scalinglaw? 然而工业界, 特别是几个模型大厂在商业化的压力下似乎根本不愿意冒险, ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览