深度｜前OpenAI首席研究官万字对谈：AGI真正到来时或显得平淡无奇

文章预览

图片来源： Redpoint's Al Podcast Z Highlights 目前，我们确实看到许多新数据中心正在建设，比如 Meta 和其他前沿实验室的项目，尽管有些未被广泛报道。因此，想要实现 GPT-4 到 GPT-5 的完整跃迁，还需要时间。 人们往往忽视了从 GPT-3 到 GPT-3.5 再到 GPT-4 的逐步迭代过程。 接下来，我们可能会先经历一个计算力提升 10 倍的过渡阶段，而不是直接迎来下一代大模型。 可靠性比过去显得更加重要。我们可以用一个经验法则来理解：从 90% 的可靠性提高到 99% ，可能需要 10 倍的计算力， 而从 99% 提升到 99.9% ，则需要再增加一个数量级 。每提高一个百分点都需要巨大的模型性能飞跃。这种 10 倍的跨越通常需要 1 到 2 年的时间来完成。 今天一个 PT-3 级别的语言模型生成一个 token 的成本，已经比 GPT-3 刚推出时低了 100 倍。我相信 Sora 视频模型也会遵循相同的轨迹 ………………………………