文章预览
来源：专知 本文 为论文介绍 ，建议阅读 5 分钟 在本论文中，我们专注于构建高效的自动化系统，以降低成本并使大型语言模型的使用更加普及。 大型语言模型（LLMs）在聊天、编程和搜索等各种任务中展现了卓越的能力。然而，LLMs的高成本阻碍了这些模型在绝大多数应用中的部署。在本论文中，我们专注于构建高效的自动化系统，以降低成本并使大型语言模型的使用更加普及。 首先，我们介绍了一些系统来优化计算效率并减少分布式LLM训练的工程开销。我们开发了TeraPipe，提出了一种新的维度来进行LLM的流水线并行训练，并且还开发了Alpa，这是世界上首个能够自动分配任意神经网络并支持所有现有并行化方法的编译器。 尽管训练通常是一项一次性的成本，部署和服务LLM则需要持续进行LLM推理，这成为了LLM在现实世界中部署的最大障碍。我们通
………………………………
