【国盛计算机】为什么训练需要如此多算力

文章预览

核心观点 Scaling-law 仍为基础定律，大模型量级快速扩张。 1 ） 7 月 8 日， Anthropic 表示，其目前正在开发的人工智能模型的训练成本高达 10 亿美元，且未来三年内， AI 模型的训练成本将上升到 100 亿美元甚至 1000 亿美元，引起广泛关注。 2 ）我们认为，大模型训练成本的快速扩张仍然反映了 Scaling-law 的基础原理，即当增加模型大小、数据集大小以及用于训练的计算量时，语言模型的性能会逐渐提升，且提升效果遵循幂律关系。 3 ）而幂律关系也意味着，增加模型参数量、数据集或计算资源，其边际回报会不断降低。即便如此， Scaling-law 仍为当前技术路径下的基础定律，全球各大模型规模持续扩张， GPT4 参数量或已到万亿级别，相比 GPT3.5 提升一个量级。 4 ）我们认为，对 Scaling-law 的坚持尝试、部分优化，均反映大语言模型仍处于快速发展的过程 ………………………………