腾讯深度学习编译器BlazerML项目技术分享

文章预览

Apache TVM 是一个用于 CPU、GPU 和机器学习加速器的开源机器学习编译器框架。TVM 支持 TensorFlow、Pytorch、MXNet、ONNX 等几乎所有的主流框架，目标是优化机器学习模型让其高效运行在不同的硬件平台上。TVM 提供了深度学习模型编译、优化和部署的端到端解决方案，支持从模型定义到部署的全流程自动化。 近日，TVM 社区举办了 TVMCon2023 会议。会议上，腾讯 BlazerML 深度学习编译器团队发表了题为《TVM at Tencent》的演讲，主要介绍了 BlazerML 的相关工作。BlazerML 是基于开源深度学习编译器（TVM/XLA）深度定制的端到端推理/训练加速方案，致力于降低深度学习编译器使用门槛，帮助编译优化技术在业务中落地。 本次分享主要介绍了 BlazerML 加速强化学习推理的方案以及 CPU 上高性能卷积算子的优化。以下为分享内容的具体介绍，完整视频见文末。 强化学习推理 ………………………………