AI Scaling的神话

文章预览

截至目前，语言模型越来越大，能力也越来越强， 但过去的表现能预测未来吗？ 一种流行的观点是，我们应该期待当前的趋势继续保持下去，并且出现更多数量级，这最终可能会引领我们实现AGI。 本文作者认为，这种观点来自于一系列神话和误解。从表面上看，规模扩展（Scaling）具有可预测性，但这是对研究成果的误解。此外，有迹象表明，LLM开发者已经接近高质量训练数据的极限。而且，模型行业正面临着模型尺寸的强烈下行压力。虽然现在无法准确地预测AI通过扩展能取得多大进展，但作者认为仅靠扩展几乎 不可能 实现AGI。 （ 本文 作者 Arvind Narayanan是 普林斯顿大学计算机科学教授， Sayash Kapoor是 普林斯顿大学计算机科学博士生。本文 由OneFlow编译发布，转载请联系授权。 来源： https://www.aisnakeoil.com/p/ai-scaling-myths） 作者｜ARVIND NARAYANAN、SA ………………………………