显存不足不再是问题！Turnip系统显著提升AI计算性能

文章预览

Abstract 一种明显减轻基于GPU的AI计算中内存困难的方法是通过CPU卸载，即数据在GPU和CPU RAM之间移动。虽然CPU卸载很有用，但由于CPU RAM与GPU RAM之间的相对传输速率，它可能会大大减慢计算速度。为了解决这个问题，重叠内存传输和计算是必要的，但这种异步性引入了不确定性，因此无法事先知道操作的最佳顺序。作者描述了Turnip系统，它是一个使用CPU卸载运行AI计算的系统，旨在处理这种不确定性。Turnip的关键创新在于将AI计算编译成一个依赖图，这使得Turnip运行时可以自由地以许多不同的顺序运行操作，如GPU Kernel 调用；在运行时，Turnip会根据实时事件动态选择最佳顺序。作者发现，Turnip的性能显著优于支持受限GPU RAM的标准PyTorch系统，并且在内存严重受限的环境中避免了内存不足错误。 1 Introduction 现代AI计算的内存管理是困难的。例如，在LLaMA大 ………………………………