DeepSeek-V3或证明Ilya“预训练终结论”有误？UC伯克利博士生证明大模型内容可用于训练新模型

文章预览

还记得 OpenAI 前首席科学家伊利亚·苏茨克维（Ilya Sutskever）在 2024 年神经信息处理系统大会（NeurIPS，Neural Information Processing Systems）上的“预训练即将终结”发言吗？他之所以这样说是因为：互联网上所有有用数据都将被用来训练大模型。 这个过程也被称为预训练，包括 ChatGPT 等在内的大模型均要经过这一步骤才能“出炉”。 不过，由于现有互联网数据或将被消耗殆尽，因此伊利亚表示这个时代“无疑将结束”。 但是，大多数业界人士并未因此感到恐慌，这是为什么？答案可以先从最近火到大洋彼岸的中国大模型 DeepSeek V3 说起。 图 | 查理·斯内尔（Charlie Snell）积极关注 DeepSeek V3 动态（来源：X） 曾在谷歌旗下公司 DeepMind 实习过的美国加州大学伯克利分校博士生查理·斯内尔（Charlie Snell）非常关注 DeepSeek V3，他不仅在 X 上转发了 DeepSeek V3 的相关 ………………………………