BladeDISC++：Dynamic Shape AI 编译器下的显存优化技术

文章预览

近年来，随着深度学习技术的迅猛发展，越来越多的模型展现出动态特性，这引发了对动态形状深度学习编译器(Dynamic Shape AI Compiler)的广泛关注。本文将介绍阿里云 PAI 团队近期发布的 BladeDISC++项目，探讨在动态场景下如何优化深度学习训练任务的显存峰值，主要内容包括以下三个部分： Dynamic Shape 场景下显存优化的背景与挑战 BladeDISC++的创新解决方案 Llama2 模型的实验数据分析 本文内容来自   NeurIPS WorkShop 2024 论文： BladeDISC++: Memory Optimizations Based On Symbolic Shape 论文链接： https://arxiv.org/abs/2412.16985 01 背景与挑战 动态形状深度学习编译器的挑战 随着模型架构的不断演进，其动态性日益增强。例如，传统的计算机视觉（CV）模型中，图像尺寸和批量大小（batch size）在训练过程中会不断变化；大型语言模型的序列长度和批量大小也呈动态调整状态；多 ………………………………