文章预览
A I 时代的矛盾点: 算力需求 快速增长,单 个 die 的 晶体管数量增长受限。 A I 时代下,模型参数量越大,训练模型所用的数据越多,训练模型的计算量越大,对应模型的性能越好。因此常用 Scaling L aw 来表征 算力需求 的规模。据华为测算,未来大模型 算力需求 将维持每 6 个月翻一番的趋势直到 2 030 年,也即是维持每年翻 4 倍的高速增长。而 作为算力的 供给方,单 个 die 的 晶体管数量增加愈发困难。随着 芯片制程的 提升,晶体管密度的复合增速越来越慢,并将在 3nm 之后 降为个位数。与此同时,芯片面积受到 reticle limit 的影响,单 个 die 的 面积不能超过 8 58 mm 2 ,因此单个 A I die 的晶体管数量增速显著放缓。 在摩尔定律和 Scaling L aw 冲突的背景下,如何继续提升 芯 片 的 算力成为 各大厂商发展的重点。 摩尔定律趋缓, 3 D IC 打开芯片
………………………………