LLaMA 3：大模型之战的新序幕

作者 | 符尧OneFlow编译翻译｜杨婷、宛子琳、张雪聃本文要点概览：文本数据的扩展可能已经达到了极限，因为易于获取的网络文本资源（如Common Crawl、GitHub、ArXiv等）已基本被充分利用。尽管如此，通过更深入地挖掘互联网资源、搜寻图书馆藏书及使用合成数据，我们仍有望获得新的文本数据，但要实现数据量级的大幅提升却面临重重挑战——这些新增的数据更可能是当前数量级上的增量。规模扩展竞赛的新阶段将转向多模态领域，尤其是统一的视频-语言生成模型，因为仅有视频数据可以实现数量级的增长。然而，坏消息是，视频数据似乎并不能显著提升模型的推理（reasoning）能力，而这一能力是区分模型强弱的首要指标。但好消息是，视频数据能够带来其他性能的显著提升，尤其是增强了模型与现实世界的联系，展现出成为神经世界模型（neural ………………………………