谈谈AI的软硬件交付界面

文章预览

TL;DR 想谈谈这个话题有几个原因: 0.1 知识屏障 大多数做并行计算开发的业务方都是一些数学/物理/生物统计/材料等专业毕业的算法博士, 他们对数学算法本身有很深的了解,但是对于GPU的微架构了解相对较少, 并且代码能力相对较弱. 当然也有极少数OI竞赛和数学/物理竞赛多修的选手, 但毕竟是少数. 然后能够从代码到芯片架构相关的设计就更少了. 最近几年工作和学习的一些经历搬了不少的砖. 《大模型时代的数学基础》 这个专题在从数学上探讨模型架构和算法的演进 《GPU架构演化分析》 这个专题从1980年开始,分析了整个GPU架构演化的过程. 《Tensor计算》 这个专题分析了CUDA相关的张量并行计算开发 《AI加速器互联》 这个专题分析加速器ScaleUP和ScaleOut互联相关的讨论 《云基础设施》 这个专题从云计算的视角来看待AI基础设施, 有一些基于金融流动性 ………………………………