关于GPT5训练失败的思考

文章预览

MLNLP 社区是国内外知名的机器学习与自然语言处理社区，受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。 社区的愿景 是促进国内外自然语言处理，机器学习学术界、产业界和广大爱好者之间的交流和进步，特别是初学者同学们的进步。 转载自 | 深度学习与NLP 作者 | 姚广 大模型：AI仍是硅谷的热门话题，但不如去年狂热 硅谷对AI的关注依然持续，但热度有所降低，主要原因是大模型扩展速度的放缓，尤其是训练算力需求的下降。大约3-4周前，谷歌内部在训练Gemini下一代模型（比上一代大10倍，类似GPT-5）时，两次尝试都失败了。这也解释了GPT-5的发布延迟。 目前，硅谷普遍认为，在LLM层面，进一步扩大模型规模变得更加困难，主要是因为： MOE（混合专家模型）后的后期训练效果不佳，模型难以收敛 数据瓶颈：合成数据的质量远不如互联 ………………………………