AI算法工程化落地，CUDA开发心得汇总

文章预览

以下 文 章来源于微信公众号：周彬 作者：周彬 链接：https://zhuanlan.zhihu.com/p/570795544 本文仅用于学术分享，如有侵权，请联系 后 台作删文处理 导读 CUDA编程在AI工程化过程中，是非常重要的一部分。本文详细汇总了作者对于CUDA开发过程中的一些心得和经验，希望对大家有帮助。 基本编程模型 CUDA开发中最基本的概念就是 显存、kernel函数、线程块、stream： 开发者可以通过CUDA Runtime API，申请、释放显存，并在内存和显存间进行数据拷贝。 开发者可以编写专用于在GPU上执行的kernel函数，在主机侧通过CUDA C扩展调用kernel函数，调用将创建数以万计的GPU线程，每个GPU线程均会完整执行一次kernel函数，kernel函数内可以对显存进行读、写等各种操作。数以万计的GPU线程之间靠只读的内置变量(线程ID等)互相区分。 一次kernel调用对应的GPU线程，需划分为一个个 ………………………………