想跑千亿大模型？算力厂商放大招！CPU通用服务器成为新选择

文章预览

克雷西 发自 凹非寺 量子位 | 公众号 QbitAI 千亿参数规模的大模型推理，服务器仅用4颗CPU就能实现！ 在一台CPU通用服务器上，浪潮信息成功跑通了102B大模型推理。 如果推广开来，没有专用芯片的传统行业，不必更换硬件，也能用上AI了。 △ 浪潮信息通用服务器NF8260G7服务器 成功运行千亿参数大模型 这套方案以极低的延时，近乎实时地进行推理运算。 如此之大的模型，只靠CPU运行，究竟是怎么实现的？ 4颗CPU带动千亿大模型？ 用CPU在单台通用服务器设备中运行大模型推理，特别是千亿参数的庞然大物，困难是可想而知的。 要想高效运行千亿参数大模型，计算、内存、通信等硬件资源的需求量都非常巨大。 内存方面，千亿参数大约需要200~300GB的显存空间才放得下。 除了内存资源，千亿参数大模型在运行过程中，对数据计算、计算单元之间及计算 ………………………………