主要观点总结
这篇文章主要讨论了关于Ilya在NeurIPS上提出的“预训练终将结束”的观点。作者认为，尽管agent、synthetic data和inference-time computing可能是未来智能的突破点，但预训练仍然需要在一段时间内继续坚持。文章从数据扩展、模型扩展、base模型的质量三个方面阐述了作者的观点。
关键观点总结
关键观点1: 数据扩展的挑战
作者指出，尽管预训练已经取得了一定的成果，但要真正做到“覆盖整个互联网”并不容易。当前，即使使用了大量的训练数据，仍无法覆盖所有领域的知识，尤其是一些长尾领域的内容，也无法跟上数据的持续更新。因此，开源模型预训练必须依赖更多的数据，并且数据清洗仍然是一个重要环节。
关键观点2: 模型扩展的挑战
在扩大模型规模时，作者认为面临着训练技术上的限制。目前只有少数机构掌握了超大模型训练的方法，并且这些方法尚未完全公开。因此，需要更加注重创新的训练方法和更稳定的模型设计，以降低超大规模模型的训练风险。
关键观点3: Base模型质量的重要性
作者强调，无论是合成数据还是后训练的研究都会受限于base模型的质量。在社区能够拥有像OpenAI一样强大的预训练模型之前，不能轻易放弃对预训练的投入。同时，作者认为预训练是否已经达到极限是一个难以判断的问题，因为缺乏关于最强预训练模型的相关信息。
文章预览
大模型智能｜分享 来源 | NLP工作站 今天给大家带来的是好友@Binyuan的一篇想法，主要是对Ilya的“pre-training as we know it will end” 观点的看法。 正文如下： 最近，Ilya 在 NeurIPS 的演讲中提到了一个观点：“pre-training as we know it will end” 引发了热烈的讨论。我非常认同 agent、synthetic data 和 inference-time computing 是未来超级智能的突破点，但我认为开放社区仍然需要在 pre-training 坚持一段时间。 数据扩展：训练数据要真正做到 “覆盖整个互联网” 并不容易。比如，Qwen2.5 在预训练的时候使用了 18T tokens，但这些数据仍然不足以覆盖所有领域的知识，尤其是一些长尾领域的内容，也无法覆盖持续不断更新的数据。可以预见，开源模型预训练必须依赖更多的数据。此外，数据清洗仍然是一个重要环节。目前社区尚未完全掌握所有数据清洗的最佳技巧，也无法以
………………………………
