一文搞懂PyTorch中的 TorchDynamo 原理

文章预览

以下 文 章来源于博客 Fei kong 作者：Fei Kong 链接：https://fkong.tech/posts/2023-05-20-dynamo/ 本文仅用于学术分享，如有侵权，请联系 后 台作删文处理 导读 TorchDynamo 是一个设计用于加速未修改的即时（JIT）编译器。它通过 Python Frame Evaluation Hooks（Python 框架评估钩子）来实现这一目标，以便在运行时动态地生成和优化代码。本文详解TorchDynamo 原理，帮助读者有效处理Python代码！ 简介 PyTorch 2.0 的使命是更快、更 Pythonic 以及一如既往地支持动态特性。为了达到这个目的，PyTorch 2.0 引入了  torch.compile ，在解决 PyTorch 固有的性能问题的同时，把部分用 C++ 实现的东西引入 Python 中。PyTorch 2.0 利用了 4 个组件: TorchDynamo，AOTAutograd，PrimTorch 和 TorchInductor。本文以几个简单的案例讲解 TorchDynamo 的使用方法和实现原理。 PyTorch 2.0 TorchDynamo 的作用是从 PyTorch 应用中抓取计 ………………………………