一个Tensor在深度学习框架中的执行过程简单梳理

❝撰文：BBuf。审稿：王迎港。0x0. 前言相信看到这篇文章的人都对深度学习框架是有所了解和熟悉的，也多多少少会使用Python写一些神经网络相关的代码。例如我们可以在PyTorch写出下面的代码：import torchx = torch.tensor([-1.0, 2.0], device="cuda")y = torch.relu(x)print(y)使用PyTorch运行之后我们会获得如下结果：tensor([0., 2.], device='cuda:0')对于x这个输入Tensor来说，它被喂给了relu这个Op，然后输出结果，一切看起来都很简单和正常。但如果有人问你是否清楚这背后到底发生了什么，relu这个Op对应的Cuda Kernel是在什么时候被GPU调用的，相信一部分人是不会很清楚的。因为包括我的大多数人习惯在舒适区使用深度学习框架，对背后的原理可能没有深入了解，所以回答不了也很正常。这篇 ………………………………