OpenAI的算力是怎样炼成的？

文章预览

OpenAI孤注一掷的底气 时间回到2018年，如今爆火的AI大模型当时才刚刚崭露头角，且并不为市场所看好。此时OpenAI刚刚成立两年，研究人员发现了一个有趣的趋势， 那就是自2012年以来， 最大规模的AI训练中所使用的计算量呈现出指数级增长的趋势，其计算量每三四个月就要翻一番 （相比之下，摩尔定律的翻倍周期为两年）。而自2012年以来，该指标已增长超过30万倍。 决定这一趋势的关键因素是计算量。 推动人工智能进步的 经典 三要素：算法创新、数据以及可用于训练的计算量。其中，算法创新和数据质量往往很难被量化和客观评估。 但计算量却不同，简单明了，清晰可见。 在深度学习的许多领域，更多的计算量总是能确定带来更好的性能，并且经常会促进算法的进步。 于是在那个时候，OpenAI的研究人员意识到只要这种计算量的增长趋势持续 ………………………………