关于GPT5训练失败的四点思考

文章预览

作者：姚广 原文：https://zhuanlan.zhihu.com/p/718513570 来源：青稞AI 近期硅谷VC、ai创始人交流要点： scaling law或已放缓 1、 大模型：AI仍是硅谷唯一的话题，但是没有去年那么狂热了 。主要是scaling的速度有所放缓（警惕对于训练算力的需求放缓），大约3-4周前谷歌内部训练Gemini下一代模型（比上一代大10倍，类似GPT-5）时2次都失败了。这也解释了为什么GPT-5延期发布。硅谷目前认为LLM层面再把模型做大难度较大，原因在于： • MOE后post-training效果不太好，模型没有收敛 • 数据是瓶颈，合成数据质量比网上搜的数据质量差了不少 2、 不排除GPT-5继续延期 思考一 在日常使用GPT-4的过程中，我发现其输出在许多场景下已经非常接近“完美”。 这里的“完美”并不意味着通用人工智能（AGI）已经实现，而是在现有系统形态下，基于有限的信息给出的回复，已接 ………………………………