Ilya 宣判：预训练即将终结！NeurIPS 现场沸腾

文章预览

金磊 发自 凹非寺 量子位 | 公众号 QbitAI 继李飞飞、Bengio、何恺明之后，在刚刚的 NeurIPS 2024 中， Ilya Sutskever 最新演讲也来了。 虽然时长仅有15分钟左右，但内容依旧看头十足。 例如这一句： Pre-training as we know it will end. 我们所熟知的预训练即将终结。 而之于未来，Ilya还预测道： what comes next is superintelligence: agentic, reasons, understands and is self aware. 接下来将是超级智能：代理、推理、理解和自我意识。 那么为何会有如此？我们一起来看看完整演讲。 回顾十年技术发展 Ilya先是用一张十年前的PPT截图开启了这次演讲，那时候深度学习还处于探索阶段。 在2014年的蒙特利尔，他和团队（还有Oriol Vinyals和Quoc Le）首次提出了如今成为AI领域基石的深度学习理念。 Ilya展示了当时的一张PPT，揭示了他和团队的核心工作： 自回归模型 、 大型神经网络 和 大数据集 ………………………………