电力、芯片制造、数据和延迟成四大限制因素，Scaling Law能续到2030年吗？

文章预览

机器之心报道 机器之心编辑部 近年来，人工智能模型的能力显著提高。其中，计算资源的增长占了人工智能性能提升的很大一部分。规模化带来的持续且可预测的提升促使人工智能实验室积极扩大训练规模，训练计算以每年约 4 倍的速度增长。 从这个角度来看，人工智能训练计算的增长速度甚至超过了近代史上一些最快的技术扩张。它超过了移动电话采用率（1980-1987 年，每年 2 倍）、太阳能装机容量（2001-2010 年，每年 1.5 倍）和人类基因组测序（2008-2015 年，每年 3.3 倍）的峰值增长率。 在最近的一份报告中，Epoch AI 研究了当前人工智能训练规模的快速增长（约每年 4 倍）在 2030 年之前是否始终在技术上可行。 报告提到了可能制约扩展的四个关键因素：电源可用性、芯片制造能力、数据稀缺性和「延迟墙」（人工智能训练计算中不可避免的延迟 ………………………………