主要观点总结
OpenAI CEO Sam Altman与GPT-4.5核心团队成员直播分享GPT-4.5的研发历程。GPT-4.5项目启动于约两年前，目标是实现比GPT-4聪明10倍的模型，最终从有效算力投入上看是达到了。整个项目在某种意义上是验证Scaling Law有效性的大型实验，结果证明Scaling Law持续有效，并可能在未来很长时间内依然有效。预训练规模要实现下一个10倍或100倍增长，需要数据效率。GPT模型利用计算吸收信息效率极高，但从数据中获取洞察的深度似乎有上限。当算力增长远超数据增长时，数据成为瓶颈。更好的预训练倾向于提升模型广泛的基础智能和泛化能力，这与推理能力的提升形成良好互补。打造如此巨大的模型需要很多人、很多时间，还有很多算力，并需要团队密切合作，确保机器学习和系统能在规模化部署时良好协同工作。
关键观点总结
关键观点1: GPT-4.5项目启动于约两年前，目标是实现比GPT-4聪明10倍的模型
GPT-4.5项目启动于约两年前，目标是实现比GPT-4聪明10倍的模型，从有效算力投入上看，这一目标已经达到。
关键观点2: 整个项目在某种意义上是验证Scaling Law有效性的大型实验
整个GPT-4.5项目在某种意义上是验证Scaling Law有效性的大型实验，结果证明Scaling Law持续有效，并可能在未来很长时间内依然有效。
关键观点3: 预训练规模要实现下一个10倍或100倍增长，需要数据效率
GPT模型利用计算吸收信息效率极高，但从数据中获取洞察的深度似乎有上限。当算力增长远超数据增长时，数据成为瓶颈。因此，预训练规模要实现下一个10倍或100倍增长，需要数据效率。
关键观点4: 更好的预训练倾向于提升模型广泛的基础智能和泛化能力
更好的预训练和无监督学习往往能够提升模型广泛的基础智能，并且对提升泛化能力非常有帮助。我们发现这与推理能力的提升形成了很好的互补。
关键观点5: 打造如此巨大的模型需要很多人、很多时间，还有很多算力
打造如此巨大的模型需要很多人、很多时间，还有很多算力，并需要团队密切合作，确保机器学习和系统能在规模化部署时良好协同工作。
文章预览
来源：数字开物 4月11日，OpenAI CEO Sam Altman与GPT-4.5核心团队成员共同开启直播，爆料GPT-4.5的研发历程。 GPT-4.5项目启动于约两年前，目标是实现比GPT-4聪明10倍的模型，最终从有效算力投入上看是达到了。整个GPT-4.5项目在某种意义上是验证Scaling Law有效性的大型实验。结果证明Scaling Law持续有效，并可能在未来很长时间内依然有效。 预训练规模要实现下一个 10 倍或 100 倍增长，需要数据效率。GPT模型利用计算吸收信息效率极高，但从数据中获取洞察的深度似乎有上限。当算力增长远超数据增长时，数据成为瓶颈。 更好的预训练倾向于提升模型广泛的基础智能和泛化能力，这与推理能力的提升形成良好互补，推理能力是在特定方面提升更显著。 以下是本次直播 实录 经数字开物团队编译整理 Sam Altman： 我们通常做这类分享是为了讨论即将发布的新产品
………………………………
