AI训练狂飙，DDR5集成PMIC护航，内存技术持续助力

文章预览

电子发烧友网报道（文/黄晶晶）AI训练数据集正高速增长，与之相适应的不仅是HBM的迭代升级，还有用于处理这些海量数据的服务器内存技术的不断发展。 以经过简化的AI训练管道流程来看，在数据采集进来后的数据存储阶段对主内存的需求以小于1TB来计算（实际应用中一个集群或实例的内存容量会是简化模型的数倍。），这时GPU还无须参与训练中。 到了数据准备阶段，将数据进行整理、验证，此时主内存容量上升到1TB。比如SDXL训练网络架构，在数据准备阶段，所有的图像都要被规整成统一的规格、大小、像素、尺寸，从而更加高效的利用到网络中的这些资源，降低延迟和在空间展示中节省资源。 在AI训练阶段，不仅需要强大的GPU内存，主内存的容量需求会是GPU内存的两倍，且必须有非常高的带宽，才能让GPU本地内存满足数据的吞吐速度。由此 ………………………………