这篇GPU学习笔记，详细整理了其工作原理、编程模型和架构设计

文章预览

作者：leowwlwang “你买的4090多少钱？”、“H100性能真厉害！” ，GPU的价格性能一直是大家乐于谈论的话题，作者也经常可以在茶余饭后听到这样的讨论。在热火朝天地谈论性能指标、价格以外，本着”知其然也要知其所以然“的道理，作者学习整理了GPU本身的工作原理，编程模型，架构设计，在这里将我的学习笔记整理成文与大家分享，希望与大家一起 “知其然也要知其所以然”。 1. 引言 Why GPU? 为什么要使用GPU？很多同学的第一反应就是“快”，这当然没错。而一个更严谨的说法是，GPU兼顾了“通用性”与“高效性”，才使得其一步步成为高性能计算的首选。 针对计算性能，1974年Dennard等人提出了Dennard缩放比例定律（Dennard Scaling）。 Dennard 缩放比例定律 (Dennard Scaling) ：当晶体管特征尺寸缩小时，其功率密度保持恒定。具体表现为电压随特征 ………………………………