Pytorch 显存管理机制与显存占用分析方法

文章预览

↑ 点击 蓝字  关注极市平台 作者丨不理不理@知乎（已授权） 来源丨https://zhuanlan.zhihu.com/p/699254132 编辑丨极市平台 极市导读   本文深入探讨了PyTorch框架在内存管理方面的技术细节，特别是CUDA API的集成和优化。作者通过分析PyTorch 2.3.0版本，分享了GPU内存分配机制、内存单位的定义以及如何有效降低内存申请频率的策略。  >> 本周六 15 :00   极市直播特别栏目- CVPR2024论文分享会 ，7位中稿 工作 作者分享， 多篇ora l 和hightlig ht工作 ！ 点击预约直播， 欢迎大家一起来交流学习 ！ 近期在研究大模型推理加速框架 VLLM 源码的过程中，对 Pytorch 的显存占用和分配机制十分感兴趣，因此花了一些时间研究和测试。写作本文，既是笔记，也是分享。 1. 前言 1.1 设备及版本 操作系统：Ubuntu 22.04 驱动版本：535.161.08 GPU：A800-SXM4-80GB CUDA：12.1 Pytorch：2.3.0 Python：3.1 ………………………………