文章预览
近日,PyTorch 官方分享了如何实现无 CUDA 计算,对各个内核进行了微基准测试比较,并讨论了未来如何进一步改进 Triton 内核以缩小与 CUDA 的差距。 在做大语言模型(LLM)的训练、微调和推理时,使用英伟达的 GPU 和 CUDA 是常见的做法。在更大的机器学习编程与计算范畴,同样严重依赖 CUDA,使用它加速的机器学习模型可以实现更大的性能提升。 虽然 CUDA 在加速计算领域占据主导地位,并成为英伟达重要的护城河之一。但其他一些工作的出现正在向 CUDA 发起挑战,比如 OpenAI 推出的 Triton,它在可用性、内存开销、AI 编译器堆栈构建等方面具有一定的优势,并持续得到发展。 近日,PyTorch 官宣要做「无英伟达 CUDA 参与的大模型推理」。在谈到为什么要 100% 使用 Triton 进行探索时,PyTorch 表示:「Triton 提供了一条途径,使大模型 能够在不同类型的 GPU 上
………………………………