超算训练大模型，不浪费一丁点计算资源

文章预览

电子发烧友网报道（文/周凯扬）近年来，有关大语言模型（LLM）的开发非常活跃，尤其是在中国、美国等市场。以OpenAI开发的ChatGPT为例，其迅速普及极大影响了技术研发、经济系统等，为此不少国家政府也投入到LLM的计算资源整合中来，从而不至于落后这轮新的全球技术军备战。同样的计算资源竞争也发生在超算领域，而两者的计算资源存在一定的重合，不少人开始借助超算来进行LLM的开发。 超算训练大模型的天然优势 大语言模型的训练经常会撞上GPU的内存墙，比如训练一个万亿参数的模型，就需要至少24TB的GPU内存。好在对于现代超算系统而言，GPU已经成为不可或缺的算力资源之一，不少超算的GPU规模与云服务厂商的数据中心相比，也不遑多让。以目前排名第一的Frontier超算为例，就集成了37888块AMD MI250X GPU。 美国橡树岭国家实验室的研究人员 ………………………………