最高加速9倍！字节跳动开源8比特混合精度Transformer引擎

文章预览

计算机视觉研究院专栏 近年来，Transformer 已经成为了 NLP 和 CV 等领域的主流模型，但庞大的模型参数限制了它的高效训练和推理。于是字节跳动在 2019 年 12 月和 2021 年 6 月分别推出了高效推理和训练引擎 LightSeq，大大加速了 Transformer 系列模型的训练和推理，也打通了 Transformer 从训练到推理的整个流程，极大优化了用户使用体验。最近，LightSeq 训练引擎相关论文[1]，被录用难度极高的超算领域国际顶会 SC22 接收，得到了学术界的广泛认可！ 公众号ID ｜ComputerVisionGzq 学习群 ｜扫码在主页获取加入方式 关注并星标 从此不迷路 计算机视觉研究院 SC22 接收论文：https://sc22.supercomputing.org/presentation/?id=pap211 =sess154 代码地址：https://github.com/bytedance/lightseq 如何继续提升速度？降低计算精度是比较直接的方法。2017 年以来，fp16 混合精度技术 [2] 获得了广泛应用 ………………………………