京东广告稀疏大模型训练与推理 GPU 优化实践

文章预览

导读   本次分享主要针对京东广告的业务场景，讨论我们在 GPU 吞吐和低延时优化方面的实践工作。 主要内容包括四大部分： 1.  京东广告场景介绍 2.  京东广告训练场景 GPU 优化实践 3.   京东广告推理场景 GPU 优化实践 4.  总结 分享嘉宾｜ 李健 京东 算法应用工程师 编辑整理｜王甲君 内容校对｜李瑶 出品社区｜ DataFun 01 京东广告场景介绍 京东广告业务场景包括推荐首页的信息流和搜索场景，主要面向 C 端用户，面临百万 QPS 高并发访问压力。为了保障广告展现效率与用户体验，广告系统需要毫秒级响应能力。在算法建模方面，推荐领域模型由浅层大规模离散 DNN 发展到以 Transformer 为主的深层神经网络，参数从百 GB 扩展到 TB 级，算力需求增长了数十倍。目前我们使用 TensorFlow 进行建模训练与推理，其算子级建模和静态图建模方式保证了离在线 ………………………………