一文了解"智算中心"方案设计-【下篇】

文章预览

一文了解"智算中心"方案设计-【上篇】 一文了解"智算中心"方案设计-【中篇】 二十一、智算中心-AIGC存储需求 智算中心业务以AIGC为主，IT基础设施规方案划除算力、网络外，存储系统也非常关键，存储系统不仅要能够处理PB级的数据量，还要在数据采集、清洗、训练及推理的每一个环节，都能提供高速、可靠的数据访问。 二十二、智算中心-大模型训练的数据分类 大模型训练的主要文件，分为3种： 1、样本文件： 大模型训练的原始素材，就是原始数据通过数据清洗得到的数据集。 2、Checkpoint文件： 用于存储训练过程中的GPU显存里的优化器参数状态等信息，在训练过程中出现机器故障、或者业务需要时能够快速的从checkpoint中恢复到上一个训练的状态。 3、模型文件： 训练完成后的成果称为模型文件，作为成品可以用于推理服务的大模型。 整个业 ………………………………