主要观点总结
Ilya Sutskever在NeurIPS 2024会议上发表演讲，讨论了人工智能（AI）的未来发展。他指出，现有数据已经接近枯竭，行业需要改变模型训练方式。他预测下一代AI系统将具备自主性和推理能力，并从进化生物学的角度比喻AI的Scaling。Sutskever还谈到了合成数据、推理时间计算以及智能体的发展。他认为AI系统的推理能力越强，其行为就越不可预测。同时，他也提到了与人类认知相关的生物结构探索和自动更正功能的未来发展。对于LLMs是否能够在分布外进行多跳推理的泛化，Sutskever给出了深入的回答。
关键观点总结
关键观点1: Ilya Sutskever表示现有数据已接近枯竭，行业需改变模型训练方式。
Sutskever指出，虽然数据在过去推动了人工智能的发展，但现在数据已经接近枯竭，我们必须利用现有的数据，因为互联网只有一个。他提议，就像进化生物学中的Scaling一样，AI也可能超越现有的预训练方法，发现全新的扩展路径。
关键观点2: Sutskever预测下一代AI系统将具备自主性和推理能力。
Sutskever表示，未来的AI系统将以真正的方式表现出自主性，并具备推理能力。与当今的AI主要依赖的模式匹配不同，未来的AI系统将能够以类似于“思考”的方式逐步解决问题。他指出，系统的推理能力越强，其行为就越不可预测。
关键观点3: Sutskever提到智能体（Agent）成为AI领域的热词。
Sutskever讨论了智能体在AI领域的重要性，并提到智能体是AI未来发展的方向之一。他认为智能体将能够从有限的数据中理解事物，并且不会感到困惑。
关键观点4: Sutskever比较了人工智能和生物学的进化过程。
他将AI系统的Scaling与进化生物学进行了比较，并引用了研究中不同物种之间的大脑与体重的比例关系。他提到一些哺乳动物遵循一种特定的Scaling模式，而人类科（人类祖先）的脑体比在对数尺度上展现出不同的增长趋势。
关键观点5: 关于自动更正功能的未来发展。
Sutskever认为未来的AI系统可能会具备自动更正功能，能够识别并纠正自己生成的内容中的错误。他提到这种功能可能远远超越了传统的自动更正概念，成为未来模型的核心功能。
关键观点6: 关于LLMs在分布外的泛化能力。
对于LLMs是否能够在分布外进行多跳推理的泛化，Sutskever给出了深入的回答。他认为模型的泛化能力可能还远不及人类，但AI模型也确实能够在某种程度上进行分布外泛化。
文章预览
机器之心报道 机器之心编辑部 「推理是不可预测的，所以我们必须从令人难以置信的，不可预测的 AI 系统开始。」 Ilya 终于现身了，而且一上来就有惊人之语。 本周五，OpenAI 的前首席科学家 Ilya Sutskever 在全球 AI 顶会上表示：「我们能获得的数据已经到头，不会再有更多了。」 OpenAI 的联合创始人兼前首席科学家 Ilya Sutskever 今年 5 月离开公司，创办了自己的人工智能实验室 Safe Superintelligence，成为头条新闻。自离开 OpenAI 后他一直远离媒体，但本周五在温哥华举行的神经信息处理系统会议 NeurIPS 2024 上，他罕见地公开露面了。 「我们所熟悉的预训练无疑会结束，」Sutskever 在台上说。 在人工智能领域里，BERT 、GPT 等大规模预训练模型（Pre-Training Model）近年来取得了巨大成功，已经成为技术进步道路上的一个 里程碑 。 由于复杂的预训练目标和巨大
………………………………
