专栏名称: 共识粉碎机
寻找与共识的不同
今天看啥  ›  专栏  ›  共识粉碎机

NV大涨与RL自己的Scaling Law

共识粉碎机  · 公众号  ·  · 2024-09-12 17:51

文章预览

关注共识粉碎机,获取历史讨论会纪要 昨天Jenson的GS小会内容引爆全场: whatever training ways: LLM/RAG/RL/Model Self Leaning/Pura scaling, compute intensity stll goes up! whatever it is, they are more demanding! 我们也第一次看到Jenson在公开场合承认Post-train的需求Super Strong,甚至已经看到了RL或者Post-train自己的Scaling Law。 我们在过去一个多月的草莓与Post-train路演,以及9月5日《NV后面可能的路径》中,都反复提到 不要相信陆家嘴小作文 ,Post-train需求非常强。 “post-train虽然参数没变,但是在训练算力上仍然会倍数增长,甚至最近两个月在post-train上也发现了Scaling Law;推理上也会随着模型“思考能力提高”,单次算力增长。”(9月5日原文) 我们也不断在路演中讲到,比起之前用几行公式数学推导RL,RL在最近几个月已经走上了规模化暴力求解的路径,并且看到了明确的方向,RL ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览