学界 | 杜克大学NIPS 2017 Oral论文：分布式深度学习训练算法TernGrad

文章预览

机器之心报道 作者：吴欣 为了提高分布式深度学习的速度和效率，杜克大学「进化智能研究中心」陈怡然和李海教授的博士生温伟提出了 TernGrad 分布式训练算法，并与 Hewlett Packard Labs（慧与研究院）徐聪和内华达大学的颜枫教授合作，在大规模分布式深度学习中进行了有效的验证。该工作可以将浮点型的学习梯度（gradients）随机量化到三元值（0 和±1）。理论上，可以把梯度通信量至少减少为原来的 1/20。 日前 NIPS 2017 放出了接收论文，杜克大学的此项工作（TernGrad: Ternary Gradients to Reduce Communication in Distributed Deep Learning）被该顶会接收为今年的口头演讲（oral）。据统计，今年 NIPS 投稿 3240 篇，仅 40 篇接收为口头演讲。 目前，论文已经可以从 arXiv 下载，源代码 ………………………………