智能周报｜向o1模型学习

主要观点总结

本文主要介绍了科技公司动态，包括模型能力提升速度放缓、新产品与模型发布、人事变动等内容。

关键观点总结

关键观点1: 模型能力提升速度放缓

OpenAI的旗舰模型Orion效果不及预期，规模定律可能失效。Google的Gemini团队也爆出了类似消息。这些公司正在尝试把精力从预训练转移到后训练，专注于提升模型在实际应用场景中的表现。

关键观点2: 新产品与模型发布

百度推出自然语言编程工具「秒哒」和小度AI眼镜。OpenAI计划明年发布可操控电脑的智能体「Operator」。Google也在开发类似的产品。此外，还有新产品如生数科技发布视频模型Vidu 1.5版本等。

关键观点3: 人事变动

OpenAI前首席技术官Murati组建新团队，不少成员来自OpenAI。月之暗面两位产品经理离职创业，正在接触投资人。

文章预览

撰文 | 新皮层小组 编辑 |  王杰夫 在基础模型能力提升降速的传言持续了半年后，本周终于听到了来自这些AI公司内部的消息。 先是有OpenAI员工爆料，公司的下一代旗舰模型Orion的效果不及预期，至少这一次的提升效果，要远逊于当初GPT-3和GPT-4之间的差距。这意味着此次大模型浪潮的核心假设——规模定律（scaling law）即将失效，即投入更多数据、更多算力去训练，模型能力却无法提升更多。 随后Google的Gemini团队也爆出了类似的消息，中国AI创业公司月之暗面甚至在本周六匆忙召开发布会表达了类似的观点。 当然，这些公司还是要找出路的，既然基础模型的提升有限，那就试试把精力放在优化模型上——也就是从预训练向后训练转移。一般来说，「预训练」（pre-training）指的是从零开始训练超大规模的基础模型，主要是为了提升模型的基础能力和 ………………………………