Ilya宣判：预训练即将终结！NeurIPS现场沸腾

主要观点总结

本文报道了Ilya Sutskever在NeurIPS 2024上的最新演讲，他预测了人工智能未来的发展方向，包括预训练的结束、超级智能的出现以及AI的自主推理和决策能力。文章回顾了深度学习领域过去十年的技术发展，并阐述了Ilya的观点和预测。

关键观点总结

关键观点1: Ilya Sutskever预测预训练的时代将逐渐结束，数据的增长已接近瓶颈。

随着技术的发展和硬件算法的进步，全球数据的限制将成为人工智能发展的瓶颈。Ilya认为这一增长趋势终将放缓。

关键观点2: Ilya展望了人工智能的未来，认为接下来将是超级智能的时代。

超级智能AI将具备自主推理和决策的能力，甚至可能具备自我意识。他引用了生物学上的例子来展示人工智能可能的突破和发展方向。

关键观点3: 回顾了深度学习领域过去十年的发展，包括自回归模型、大型神经网络和大数据集的结合等关键技术的发展。

文章介绍了深度学习领域的重要假设和核心思想，包括规模假设和连接主义的思想。此外，还提到了LSTM和并行化等技术以及它们的影响和挑战。

文章预览

金磊 发自 凹非寺 量子位 | 公众号 QbitAI 继李飞飞、Bengio、何恺明之后，在刚刚的 NeurIPS 2024 中， Ilya Sutskever 最新演讲也来了。 虽然时长仅有15分钟左右，但内容依旧看头十足。 例如这一句： Pre-training as we know it will end. 我们所熟知的预训练即将终结。 而之于未来，Ilya还预测道： what comes next is superintelligence: agentic, reasons, understands and is self aware. 接下来将是超级智能：代理、推理、理解和自我意识。 那么为何会有如此？我们一起来看看完整演讲。 回顾十年技术发展 Ilya先是用一张十年前的PPT截图开启了这次演讲，那时候深度学习还处于探索阶段。 在2014年的蒙特利尔，他和团队（还有Oriol Vinyals和Quoc Le）首次提出了如今成为AI领域基石的深度学习理念。 Ilya展示了当时的一张PPT，揭示了他和团队的核心工作： 自回归模型 、 大型神经网络 和 大数据集 ………………………………