专栏名称: 橘子汽水铺
橘子汽水铺 by orange.ai。 AI创始人, AI投资人,AI产品经理都在关注的AI科技自媒体。 聚焦最有商业价值的AI资讯,分享一线的AI产品经理经验。
今天看啥  ›  专栏  ›  橘子汽水铺

Scaling Law 的困局、Self-play RL 的希望,以及200美金一斤的草莓

橘子汽水铺  · 公众号  ·  · 2024-09-11 09:09
    

文章预览

就在昨天,发生了三件事: 听完了小珺和广密的 AI 行业 Q3 总结性的播客,讲到了预训练的 Scaling Law 瓶颈,以及 Self-Play RL 的重要性 The Information 爆料,OpenAI即将在2周内发布新的草莓🍓模型 ChatGPT Pro 订阅计划开始灰度,售价200美金/月,上去用了一下却发现什么都没有 这三件事关联在一起,拼凑出了一些一些即将成为共识的信息。 Scaling Law 的困局 整个大语言模型行业已经很久没有大的进步了。 这是所有人共同的感受。 在模型达到达数千亿参数之后,训练成本和难度上升了很多,但似乎上万亿也并不能带来质变的提升。 Ilya 更是直言,大家已经不知道谈论 Scaling Law 的时候在 Scaling 什么了,而他对 Scaling 有了一些新的思路。 广密说到硅谷逐渐形成的共识就是RL强化学习是接下来的突破点。 而预训练方面,80%的公司会放弃预训练。 Self-play RL 全村的 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览