OpenAI Triton 入门教程

文章预览

【点击】 加入大模型技术交流群 原文：https://zhuanlan.zhihu.com/p/684473453 Triton 简介 OpenAI 研发的 Triton 是一个专门为深度学习和高性能计算任务设计的编程语言和编译器，它旨在简化并优化在GPU上执行的复杂操作的开发。Triton 的目标是提供一个开源环境，以比 CUDA 更高的生产力编写快速代码。 官方资料 官方代码： https:// github.com/openai/trito n https://github.com/triton-lang/triton 官方文档： https:// triton-lang.org/main/ge https://triton-lang.org/main/getting-started/installation.html 背景 传统的基于 CUDA 进行 GPU 编程难度较大，学术界和工业界都对面向 GPU 编程的领域特定语言（DSL）很感兴趣。但是目前已有的 DSL 在灵活性和（对相同算法）速度上明显慢于像 cuBLAS、cuDNN 或 TensorRT 这样的库中可用的最佳手写计算内核。已有的 DSL 如 polyhedral machinery (Tiramisu/Tensor Comprehensions)、scheduling la ………………………………