Ilya宣判：预训练即将终结，NeurIPS现场沸腾

文章预览

本文来自微信公众号： 量子位 ，作者：金磊，题图来自：视觉中国 继李飞飞、Bengio、何恺明之后，在昨天的NeurIPS 2024中，Ilya Sutskever最新演讲也来了。 虽然时长仅有15分钟左右，但内容依旧看头十足。 例如这一句： Pre-training as we know it will end. 我们所熟知的预训练即将终结。 而之于未来，Ilya还预测道： what comes next is superintelligence: agentic， reasons， understands and is self aware.接下来将是 超级智能：代理、推理、理解和自我意识。 为何会有如此发言？我们一起来看看完整演讲。 回顾十年技术发展 Ilya先是用一张十年前的PPT截图开启了这次演讲，那时，深度学习还处于探索阶段。 在2014年的蒙特利尔，他和团队 （还有Oriol Vinyals和Quoc Le） 首次提出了如今成为AI领域基石的深度学习理念。 Ilya展示了当时的一张PPT，揭示了他和团队的核心工作： 自回归模型 ………………………………