专栏名称: 量子位
վ'ᴗ' ի 追踪AI行业和技术动态,这里更快一步!关注我们,回复“今天”,更多大新闻等你来发现
今天看啥  ›  专栏  ›  量子位

Ilya宣判后GPT-5被曝屡训屡败,一次训数月,数据要人工从头构建

量子位  · 公众号  · AI  · 2024-12-22 12:33
    

主要观点总结

本文介绍了关于OpenAI的GPT-5的最新进展以及相关信息。GPT-5的训练已经进行了至少两轮,每次长达数月,但每次训练后都遇到新问题。尽管它有一些显著的提升,如通过雇佣人员写代码、做数学题来从头创建数据,并使用AI合成数据等,但其预训练仍然面临巨大的挑战。文章还介绍了OpenAI的新模型o3在ARC-AGI测试中的表现,以及关于AGI的一些观点和理论。最后,OpenAI发布了一篇关于安全问题的论文,介绍了一种名为慎重对齐的对齐方式,以提高模型的安全性。

关键观点总结

关键观点1: GPT-5的训练进展和挑战

GPT-5已经完成了至少两轮训练,每次训练长达数月,但每次都会遇到新问题。它需要庞大的计算资源和更长时间来训练,而且预训练成本非常高昂。

关键观点2: GPT-5的开发和调整策略

OpenAI正在尝试通过雇佣人员写代码、做数学题等方式来从头创建数据,并使用AI合成数据来训练GPT-5。但这些方法的效率不高,且满足GPT-5的预训练需求存在难度。

关键观点3: GPT-5的预期和评估

GPT-5被期望能够进行科学探索发现,完成例行的人类任务,并减少幻觉。但其推出一直充满挑战,最新的训练成本也非常高昂。

关键观点4: o3在ARC-AGI测试中的表现

OpenAI的新模型o3在ARC-AGI测试中取得了显著的成绩,但其仍然面临一些挑战。尽管在某些任务上表现良好,但在一些非常简单的任务上仍然会失败。

关键观点5: 安全问题及应对措施

OpenAI发布了一篇关于安全问题的论文,介绍了一种名为慎重对齐的对齐方式,以提高模型的安全性。这种方式可以向推理模型传授人工编写、可解释的安全规范,并训练它们在回答之前对这些规范进行明确的推理。


文章预览

明敏 克雷西 发自 凹非寺 量子位 | 公众号 QbitAI GPT-5被曝效果远不达预期。 OpenAI连续12场发布会刚刚结束,大家最想看的GPT-5/4.5影子都没有,于是华尔街日报这边爆料了。 GPT-5 已至少完成2轮训练 ,每次长达数月,但是每次训练后都遇到新问题。 OpenAI正在专门雇人写代码、做数学题为GPT-5 从头创建数据,o1合成数据也用 ,但效率不够高,想要满足GPT-5的预训练需求有难度。 按照市场估算,一次长达6个月的训练 仅计算就需要花费5亿美金 。GPT-5两次训练进展都不顺,背后的成本想必也是个天文数字。 Ilya前不久在NeurIPS 2024上宣判的预训练即将终结 ,似乎再次得到论证…… 这也和The Information此前爆料相呼应,随着GPT系列进化速度放缓,OpenAI正在尝试调整战略,比如o1、o3系列的推出。 目前,OpenAI对最新爆料尚无回应。 但GPT-5究竟是OpenAI藏着不发,还是 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览