关于GPT5训练失败的思考

文章预览

作者：姚广 https://zhuanlan.zhihu.com/p/718513570 1. 大模型：AI仍是硅谷的热门话题，但不如去年狂热 硅谷对AI的关注依然持续，但热度有所降低，主要原因是大模型扩展速度的放缓，尤其是训练算力需求的下降。 大约3-4周前，谷歌内部在训练Gemini下一代模型（比上一代大10倍，类似GPT-5）时，两次尝试都失败了。 这也解释了GPT-5的发布延迟。 目前，硅谷普遍认为，在LLM层面，进一步扩大模型规模变得更加困难，主要是因为： MOE（混合专家模型）后的后期训练效果不佳，模型难以收敛 数据瓶颈：合成数据的质量远不如互联网搜集的数据 因此，不排除GPT-5继续延期的可能性。 思考一： 在日常使用GPT-4的过程中，我发现其输出在许多场景下已经非常接近“完美”。这里的“完美”并不意味着通用人工智能（AGI）已经实现，而是在现有系统形态下，基于有限的 ………………………………