两片Orin算力能翻倍么？英伟达最深的护城河：NVLink

文章预览

首先我们要了解汽车自动驾驶乃至所有AI运算的基本流程，可以简单理解为CPU负责下达命令，GPU负责计算。此过程可概括为：CPU根据任务类型分配任务，CPU看到大规模并行运算任务，就启动GPU，对GPU发号施令，GPU从显存或共享存储器（车载一般是LPDDR4或LPDDR5）读取模型全部参数，由于GPU或CPU的缓存通常只有几MB甚至是KB，所以模型参数始终都在显存或LPDDR里，每一次推理运算都要重新读出，GPU计算完成，再将数据传输给CPU。 如果有多个GPU，那么由CPU分配任务，GPU与GPU之间的数据传递还是需要通过CPU中转，CPU会从其中一个GPU中先拷贝数据，再中转给其他GPU，效率非常低下，因为CPU与GPU之间一般是PCIe通讯，而车载领域为了节约成本，一般是千兆甚至百兆以太网，这个传输速率非常低下，是一个严重的瓶颈。GPU内部的带宽至少是1000GB/s的，而千兆车载以太 ………………………………