CUDA-MODE 课程笔记 第二课: PMPP 书的第1-3章速通

文章预览

我的课程笔记，欢迎关注：https://github.com/BBuf/how-to-optim-algorithm-in-cuda/tree/master/cuda-mode 第二课: PMPP 书的第1-3章 这节课非常基础，讲的都是基本概念和初级的注意事项，有CUDA基础的朋友可以不用花时间看。 PMPP 第一章 这一页没什么好说的，就是介绍一些大模型和AI的背景，CPU和GPU的架构区别，以及GPU的出现是为了解决CPU无法通过硬件技术解决的大规模计算性能问题。 这张图名为"The Power Wall"（功耗墙），展示了从1970年到2020年间计算机芯片技术的两个关键参数的发展趋势： 晶体管数量（紫色线）：以千为单位，呈指数增长趋势。频率（绿色线）：以MHz为单位，显示了处理器时钟速度的变化。 "功耗墙"现象：图表底部的注释解释了为什么频率不再持续增长 —— "进一步提高频率会使芯片变得太热而无法有效散热"。 这张slides介绍了CUDA的兴起及其关键特 ………………………………