大规模语言模型在分布式基础设施上的高效训练：综述

文章预览

像GPT和LLaMA这样的大型语言模型（LLM）以其复杂的能力正在革新AI行业。训练这些模型需要庞大的GPU集群和大量的计算时间，在可扩展性、效率和可靠性方面带来了重大挑战。本综述探讨了LLM训练系统的最新进展，包括在训练基础设施中使用AI加速器、网络、存储和调度的创新。 此外，综述还涵盖了并行策略以及在分布式LLM训练中针对计算、通信和内存的优化。它还包括在长时间训练期间保持系统可靠性的方法 。通过审视当前的创新和未来的方向，本综述旨在为改进LLM训练系统和应对持续的挑战提供宝贵的见解。此外，基于传统数字电路的计算系统在满足LLM的计算需求方面面临重大限制，突显出诸如光学计算和光网络等创新解决方案的必要性。 大型语言模型（LLM）正在变革AI行业，在个人助手[1]、代码辅助[2]、芯片设计[3]和科学发现[4]等广泛任务 ………………………………