llya年终总结：预训练将到头，未来是Agentic

文章预览

OpenAI 的联合创始人兼前首席科学家 Ilya Sutskever 在 全球 AI 顶会上 NeurIPS发表演讲并宣判： 数据不再增长，预训练将到头 。 接下来是： Agent （智能体） Synthetic data （合成数据） Inference time compute ~ o1 （ 推理时计算） 未来是 S uperintelligence （超级智能）： Agentic （智能体） Reasons （推理） Understands （理解） Is self aware （自我意识） Ilya Sutskever在NeurIPS 2024上的演讲要点： 数据资源的极限 ：Sutskever提出，我们能获得的数据已经接近极限，不会再有更多。他将这一趋势比作化石燃料的消耗，认为互联网中由人类生成的内容是有限的。 预训练模型的终结 ：他预测，我们所熟悉的预训练模型，如BERT和GPT等，将会结束。这是因为数据资源的有限性将迫使行业改变当前的模型训练方式。 下一代模型的自主性 ：Sutskever预测下一代模型将会“以真正的方式表 ………………………………