AI推理计算的可能终局：存算一体芯片！

文章预览

点击蓝字 关注我们 生成式 AI 为提高效率带来了令人难以置信的商机，但我们仍然面临着一个阻碍广泛采用的巨大挑战：运行推理的高昂成本。 我们已经听说过大型语言模型（ LLM ）训练期间产生的惊人费用：大量的 GPU ，高昂 的电费。分析师估计， Meta   2024 年可能会在 GPU 上花费 150 亿美元。生成式 AI 需要大量的内存和带宽来进行权重计算和数据处理，这是大规模运行模型的主要障碍。就连 OpenAI 的 Sam Altman 也表示：“没有突破，就不可能实现这一目标。这促使我们加大对核聚变的投资。” 迄今为止， CPU 、 GPU 和许多定制设计的加速器一直是 AI 的主要选择，但即使是最先进的解决方案也会被传统的冯·诺伊曼架构所拖累。定制设计的 ASIC 、 FPGA 和 APU 提供具有更高内存带宽的专用控制器，并且需要大量 RAM 来将模型保存在内存中，这使得生成式 ………………………………