内存墙与LLM 计算

文章预览

【点击】 加入大模型技术交流群 原文：https://zhuanlan.zhihu.com/p/699027700 一、内存墙与硬件的发展 内存墙（memory wall）问题是指当处理器的计算速度超过数据传入和传出内存系统的速度时，计算机架构中出现的一种现象。在这种情况下，处理器必须等待从内存中获取数据，这会降低其性能并限制其速度。 随着处理器变得更快、更强大，而内存速度却跟不上这些进步，内存墙问题变得越来越严重。这意味着即使处理器可以快速执行指令，它也会花费大量时间等待数据传入和传出内存。 如下图所示，在过去 20 年中， 服务器硬件 FLOPS 峰值以每 2 年 3.0 倍的速度增长 DRAM 带宽以每 2 年 1.6 倍的速度增长 片间互连带宽以每 2 年 1.4 倍的速度增长 这种发展是不均衡的，在 20 年的时间里，算力提升了超过 1000000 倍，而 DRAM 带宽只提高了约100倍，互联带宽仅提高了 ………………………………