大模型训练的GPU联手CPU显存优化分析方法

文章预览

↑ 点击 蓝字  关注极市平台 作者丨嫖姚@知乎（已授权） 来源丨https://zhuanlan.zhihu.com/p/690926800 编辑丨极市平台 极市导读   只需要一行命令，即可实现GPU和CPU的混合训练。   >> 加入极市CV技术交流群，走在计算机视觉的最前沿 随着深度学习模型复杂度和数据集规模的增大，计算效率成为了不可忽视的问题。GPU凭借强大的并行计算能力，成为深度学习加速的标配。然而，由于服务器的显存非常有限，随着训练样本越来越大，显存连一个样本都容不下的现象频频发生。除了升级硬件（烧钱）、使用分布式训练（费力），你知道还有哪些方法吗？即使显存充足，所有运算都在GPU上执行就是最高效吗？只要掌握以下小知识，模型训练的种种问题统统搞定，省时省力省钱， 重点是高效 ！ 其实CPU和GPU是协同工作的，如果能合理地利用它们各自的优势，就能 ………………………………