主要观点总结
本文介绍了关于预训练模型发展的争议和趋势。Ilya Grushin在NeurIPS 2024上宣称预训练结束引发争议，但遭到包括谷歌大佬Logan Klipatrick和LeCun等的反驳。文章讨论了模型规模的变化，从GPT-1到当前前沿模型参数大多在4000亿左右的变化过程，并分析了导致这种现象的五个主要原因。同时，对于未来模型规模的发展，文章认为存在不确定性。
关键观点总结
文章预览
Ilya宣判：预训练即将终结！NeurIPS现场沸腾 来源：量子位（公众号 QbitAI） 作者：金磊 发自 凹非寺 继李飞飞、Bengio、何恺明之后，在刚刚的 NeurIPS 2024 中， Ilya Sutskever 最新演讲也来了。 虽然时长仅有15分钟左右，但内容依旧看头十足。 例如这一句： Pre-training as we know it will end. 我们所熟知的预训练即将终结。 而之于未来，Ilya还预测道： what comes next is superintelligence: agentic, reasons, understands and is self aware. 接下来将是超级智能：代理、推理、理解和自我意识。 那么为何会有如此？我们一起来看看完整演讲。 回顾十年技术发展 Ilya先是用一张十年前的PPT截图开启了这次演讲，那时候深度学习还处于探索阶段。 在2014年的蒙特利尔，他和团队（还有Oriol Vinyals和Quoc Le）首次提出了如今成为AI领域基石的深度学习理念。 Ilya展示了当时的一张PPT，揭示了他和
………………………………
