深度剖析：针对深度学习的GPU共享

文章预览

公众号关注 “ ML_NLP ” 设为 “ 星标 ”，重磅干货，第一时间送达！ 转载自丨极市平台 作者丨阎姝含@知乎 来源丨https://zhuanlan.zhihu.com/p/285994980 编辑丨极市平台 A survey of GPU sharing for DL 当前机器学习训练中，使用GPU提供算力已经非常普遍，对于GPU-based AI system的研究也如火如荼。在这些研究中，以提高资源利用率为主要目标的GPU共享(GPU sharing)是当下研究的热点之一。GPU共享涉及到的技术面较广，包括GPU架构（计算，存储等），Cuda，IO（内存，显存），机器学习框架（Tf，Pytorch），集群 & 调度，ML/DL算法特性，通信（单机内和多机间），逆向工程等等，是一个自上而下的工作。本篇文章希望能提供一个对GPU共享工作的分享，希望能和相关领域的研究者们共同讨论。限于 ………………………………