快速提升性能，如何更好地使用GPU（下）

文章预览

【点击】 加入大模型技术交流群 接 着上一篇的话题， 快速提升性能，如何更好地使用GPU（上） 。 上篇聊到了如何充分利用GPU的计算资源（SM），这里我们再从另一个角度看下如何提升性能。 之前也提到，我们可以 将所有要做的任务都一股脑扔给GPU ，换句话说，就是可以将要 计算的算法 提前交到异步工作队列中（为什么是提前，就是这个任务发射出去了，kernel launch了，但实际还没有执行），这个队列一般叫做stream，如果没有设置的话，任务会处在default stream中。 image GPU可以有很多stream，分任务不同使用的stream数量也不同。我们在平常使用的时候可以充分利用stream的特性： A stream is a queue of device work Kernel launches and Async CUDA API calls place work in the queue and continue Devices schedule work from streams to available resources Operations within a stream are ordered (FIFO) and cannot o ………………………………