PCIe 扩展 GPU VRAM 容量新技术 — 实现两位数纳秒延迟！

文章预览

用于 AI 和 HPC 应用的现代 GPU 内置了有限数量的高带宽内存 （HBM），限制了它们在 AI 和其他工作负载中的性能。然而，新技术将允许GPU通过与连接到PCIe总线的设备插入更多内存来扩展GPU内存容量，而不是局限于GPU内置的内存 - 它甚至允许使用SSD进行内存容量扩展。Panmnesia 是一家由韩国著名的 KAIST 研究所支持的公司，它开发了一种 低延迟的 CXL IP ，可用于使用  CXL 内存 扩展器扩展 GPU 内存。 用于 AI 训练的更高级数据集的内存需求正在迅速增长，这意味着 AI 公司要么必须购买新的 GPU，要么使用不太复杂的数据集，要么以牺牲性能为代价使用 CPU 内存。尽管 CXL 是一种正式工作在 PCIe 链路之上的协议，从而使用户能够通过 PCIe 总线将更多内存连接到系统，但该技术必须得到 ASIC 及其子系统的认可，因此仅添加 CXL 控制器不足以使该技术正常工作，尤 ………………………………