PyTorch官宣：告别CUDA，GPU推理迎来Triton加速新时代！

文章预览

点这里 👇 关注我，记得标星，么么哒～ 点击进入—> 【Mamba/多模态/扩散】交流群 添加微信号：CVer111，小助手会拉你进群！ 扫描下方二维码，加入CVer学术星球 ！ 可以获得最新顶会/顶刊上的论文idea 和 CV从入门到精通资料，及最前沿应用 ！发论文/搞科研/涨薪，强烈推荐！ 转载自：新智元 ｜ 编辑： 乔杨 Frey 【导读】 用英伟达的GPU，但可以不用CUDA？PyTorch官宣，借助OpenAI开发的Triton语言编写内核来加速LLM推理，可以实现和CUDA类似甚至更佳的性能。 试问，有多少机器学习小白曾被深度学习框架和CUDA的兼容问题所困扰？ 又有多少开发者曾因为频频闪烁的警报「CUDA版本必须与安装的PyTorch匹配！！！」而企图炸键盘？ 无论是TensorFlow还是Pytorch，GPU和CUDA搭配的概念早已深入骨髓。 如果我说，就在昨天，有款为LLM「量身定做」的CUDA-free推理上新了！你 ………………………………