“草莓”是什么

文章预览

由于迟迟没有GPT-5更多消息，最近一段时间其实非常无聊，直到昨天bloomberg和路透报道的所谓“OpenAI内部会议”，给一个5层AI分级和所谓“草莓”项目。虽然OpenAI内部如Q*、sora、草莓等等项目组实在太多（上百也不夸张），但关于模型训练的寥寥，因此格外值得关注。 看报道，几乎囊括了过去关于模型训练 的 各种传言，  STaR就是之前Q*传闻的RL、 “self-play ” ，“创建自己的数据 ”也就是 合成数 据 ， “ 模型已在非常大的数据集上进行过预训练 之后， 草莓用 于 模型的处理 ”，也就是post-training。 按照 之前 那个“著名”报告的讨论， post-training还可以提升几个OOM。过去一段时间交流下来，几乎也都得到了业界的认可。 因此大家担心的GPT-5的所谓训练问题，可能 并不是问题的核心。 单个expert的上限和 Sparse MoE的能力天花板问题，可能只是工程问 ………………………………