Ilya Sutskever发声：预训练将结束，数据压榨到头了

主要观点总结

Ilya Sutskever在Neurlps大会上就人工智能（AI）的未来发展进行了演讲，讨论了大规模预训练模型的现状和未来趋势。他强调了数据的极限和AI系统的自主性及推理能力的重要性。他还探讨了AI模型是否具备自我纠正能力，以及AI的泛化能力和是否需要赋予AI权利等问题。

关键观点总结

关键观点1: Ilya Sutskever的演讲内容

Ilya Sutskever对现有的预训练模型进行了回顾，并预测了AI未来的发展方向，包括智能体的出现、系统的推理能力、合成数据的使用以及对数据极限的挑战等。

关键观点2: 关于数据的极限

Ilya Sutskever指出互联网中的内容是有限的，计算机的能力在增长，但数据没有增长，我们需要处理现有的数据。他强调了数据的价值，称其为AI的化石燃料。

关键观点3: AI系统的自主性和推理能力

Ilya Sutskever预测未来的AI系统将会具备自主性和推理能力。他提到，系统的推理能力越强，其行为就越不可预测。他还讨论了AI模型是否具备自我纠正能力的问题。

关键观点4: 关于AI的泛化能力

Ilya Sutskever认为AI模型的泛化能力还有待提高，并且人类的泛化能力明显优于AI。他还探讨了如何为AI创造正确的激励机制，使其享有与人类相似的自由。

关键观点5: 关于AI的权利问题

提问者提到是否应该为AI赋予权利，Ilya Sutskever表示这些问题需要人们更多思考和反思。

文章预览

Ilya 终于现身了，而且一上来就有惊人之语。 本周五，OpenAI 的前首席科学家 Ilya Sutskever 在全球 AI 顶会上表示：「我们能获得的数据已经到头，不会再有更多了。」 OpenAI 的联合创始人兼前首席科学家 Ilya Sutskever 今年 5 月离开公司，创办了自己的人工智能实验室 Safe Superintelligence，成为头条新闻。自离开 OpenAI 后他一直远离媒体，但本周五在温哥华举行的神经信息处理系统会议 NeurIPS 2024 上，他罕见地公开露面了。 「我们所熟悉的预训练无疑会结束，」Sutskever 在台上说。 在人工智能领域里，BERT 、GPT 等大规模预训练模型（Pre-Training Model）近年来取得了巨大成功，已经成为技术进步道路上的一个 里程碑 。 由于复杂的预训练目标和巨大的模型参数，大规模预训练可以有效地从大量标记和未标记的数据中获取知识。通过将知识存储到巨大的参数中并对 ………………………………