快无止尽! FasterTransformer 2.0 让 Decoder 不再是你的性能瓶颈。

文章预览

介绍 自从 “Attentionis All You Need” 在2017年提出以来至今，Transformer 已经成为 NLP 领域中一个非常热门的架构。而在2019年7月，我们团队开源了 FasterTransformer 1.0，针对 BERT 中的 Transformer Encoder 进行优化和加速，以满足在线业务的低延迟要求。   在解决了 Transformer Encoder 的性能问题之后，我们将重点放到了同样重要的 Transformer Decoder 推理上。在众多基于 Encoding-Decoding 的 NLP 应用推理，有百分之九十以上的时间是消耗在 Decoder 上面。因此，我们在 FasterTransformer1.0 版本的基础上，推出了2.0的版本，增加了针对 Decoder 的优化。其优越的性能将助力于翻译，对话机器人，文字补全修正等多种生成式的场景。   FasterTransformer2.0 的底层由 CUDA 和 cuBLAS 实现，支持 FP16 和 FP ………………………………