WeNet更新：支持多机并行训练

文章预览

近期WeNet（https://github.com/mobvoi/wenet ）支持了多机多卡的分布式并行训练，进而可以利用更多的来加速模型的训练。目前的方案使用PyTorch原生的DistributedDataParallel（DDP）实现，在AISHELL-1实验上，该方案使用多机可以做到几乎无损的线性加速（随着GPU增多训练时间按GPU数量比例线性减少），同时保证模型性能和单机一致。     业界现有方案 目前基于PyTorch的主流分布式训练方案主要有PyTorch原生的DDP和horovod两种。horovod是uber开源的一个兼容主流计算框架如PyTorch、TensorFlow等的分布式机器学习训练框架。horovod使用起来较为简单，引入少量的代码入侵即可完成训练代码的改造，并且其支持对梯度进行fp16压缩，可以将多机训练通信时需要的网络带宽需求减半。早期的PyTorch等框架 ………………………………