连接人工智能技术人才和产业人才的交流平台
今天看啥  ›  专栏  ›  机器学习研究组订阅

天下苦英伟达久矣!PyTorch官方免CUDA加速推理,Triton时代要来?

机器学习研究组订阅  · 公众号  · AI  · 2024-09-09 17:05

文章预览

近日,PyTorch 官方分享了如何实现无 CUDA 计算,对各个内核进行了微基准测试比较,并讨论了未来如何进一步改进 Triton 内核以缩小与 CUDA 的差距。 在做大语言模型(LLM)的训练、微调和推理时,使用英伟达的 GPU 和 CUDA 是常见的做法。在更大的机器学习编程与计算范畴,同样严重依赖 CUDA,使用它加速的机器学习模型可以实现更大的性能提升。 虽然 CUDA 在加速计算领域占据主导地位,并成为英伟达重要的护城河之一。但其他一些工作的出现正在向 CUDA 发起挑战,比如 OpenAI 推出的 Triton,它在可用性、内存开销、AI 编译器堆栈构建等方面具有一定的优势,并持续得到发展。 近日,PyTorch 官宣要做「无英伟达 CUDA 参与的大模型推理」。在谈到为什么要 100% 使用 Triton 进行探索时,PyTorch 表示:「Triton 提供了一条途径,使大模型 能够在不同类型的 GPU 上 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览