分布式深度学习框架的前世今生，从 MapReduce 到 Pathways

文章预览

↑ 点击 蓝字  关注极市平台 作者丨自由技艺@知乎（已授权）公众号：那有一束光 来源丨https://zhuanlan.zhihu.com/p/533852982 编辑丨极市平台 极市导读   浅述深度学习框架的发展史。  >> 加入极市CV技术交流群，走在计算机视觉的最前沿 分布式深度学习框架目的只有一个：解决超大模型的训练问题，主要针对两种场景：一个具有超大规模的 dense（密集） 参数的模型，比如 NLP、CV 等；另一个是具有超大规模 sparse（稀疏）参数的模型，比如推荐模型。前一种场景重计算，主要采用 GPU 训练，通信采用 AllReduce 模式，后一种场景重存储和 I/O（参数读写），主要采用的技术是参数服务器。 1、上古时代的分布式机器学习平台 从早期的 MPI，到后来的 Hadoop，乃至于目前还有使用的 Spark，但是它们都存在一些不足： MPI Gradient Aggregation: 主要缺点是任务求解器的速 ………………………………