专栏名称: 极市平台
极市平台是由深圳极视角推出的专业的视觉算法开发与分发平台,为视觉开发者提供多领域实景训练数据库等开发工具和规模化销售渠道。本公众号将会分享视觉相关的技术资讯,行业动态,在线分享信息,线下活动等。 网站: http://cvmart.net/
今天看啥  ›  专栏  ›  极市平台

图解大模型训练之:数据并行(DP、DDP、ZeRO、零冗余优化)

极市平台  · 公众号  ·  · 2024-09-01 22:00
    

主要观点总结

本文介绍了大模型场景里数据并行的实现方法,包括DP、DDP和ZeRO三种方式。文章详细阐述了每种方式的原理、实现细节和优缺点,以及针对存储消耗的优化方法。最后简单介绍了ZeRO-Offload与ZeRO-Infinity。

关键观点总结

关键观点1: 数据并行的实现方式

包括DP、DDP和ZeRO三种。DP是最早的数据并行模式,采用参数服务器这一编程框架;DDP是更通用的解决方案,通过Ring-AllReduce方法解决通讯问题;ZeRO用通讯换显存,通过优化状态分割、梯度分割和参数分割来降低存储消耗。

关键观点2: 存储消耗的优化

包括优化状态分割、优化状态与梯度分割、优化状态、梯度与参数分割等。使用固定大小的内存buffer进行存储,提升带宽利用率,并设置机制对碎片化的存储空间进行重新整合。

关键观点3: ZeRO-Offload与ZeRO-Infinity

ZeRO-Offload将部分数据卸载到CPU上,以减少显存和通讯压力。ZeRO-infinity同理,它们都在解决数据存储和计算性能的问题。


免责声明

免责声明:本文内容摘要由平台算法生成,仅为信息导航参考,不代表原文立场或观点。 原文内容版权归原作者所有,如您为原作者并希望删除该摘要或链接,请通过 【版权申诉通道】联系我们处理。

原文地址:访问原文地址
总结与预览地址:访问总结与预览
推荐产品:   推荐产品
文章地址: 访问文章快照