Scaling Law 的困局、Self-play RL 的希望，以及200美金一斤的草莓

文章预览

就在昨天，发生了三件事： 听完了小珺和广密的 AI 行业 Q3 总结性的播客，讲到了预训练的 Scaling Law 瓶颈，以及 Self-Play RL 的重要性 The Information 爆料，OpenAI即将在2周内发布新的草莓🍓模型 ChatGPT Pro 订阅计划开始灰度，售价200美金/月，上去用了一下却发现什么都没有 这三件事关联在一起，拼凑出了一些一些即将成为共识的信息。 Scaling Law 的困局 整个大语言模型行业已经很久没有大的进步了。 这是所有人共同的感受。 在模型达到达数千亿参数之后，训练成本和难度上升了很多，但似乎上万亿也并不能带来质变的提升。 Ilya 更是直言，大家已经不知道谈论 Scaling Law 的时候在 Scaling 什么了，而他对 Scaling 有了一些新的思路。 广密说到硅谷逐渐形成的共识就是RL强化学习是接下来的突破点。 而预训练方面，80%的公司会放弃预训练。 Self-play RL 全村的 ………………………………