nnScaler：重塑深度学习并行策略，大幅提升训练效率

文章预览

（本文阅读时间：6分钟） 编者按：深度学习技术已经在图像识别、语音识别、自然语言处理、搜索推荐等多个领域不断展现出巨大的应用价值。然而，随着模型规模的不断增大，深度学习模型的训练变得耗时且昂贵，设计最优的并行策略组合以提高其在多设备上的执行性能是目前该领域的一大挑战。在此背景下，微软亚洲研究院提出 nnScaler 技术，通过一套并行化原语和策略限定搜索的方法来寻求最佳的并行策略组合。这一尝试为寻求深度学习并行策略最优化提供了方案和工具，有效应对了当前的深度学习训练效率难题。相关论文已被计算机系统领域顶级学术会议 OSDI 2024 收录。 目前，深度学习已经透过多种应用形式广泛深入人们的日常生活当中。但随着模型规模的不断增大，其训练变得耗时且昂贵。为此，科研人员不断设计出各种并行策略来提 ………………………………