5倍提升！京东广告如何用NVIDIA TensorRT-LLM实现推理加速？

文章预览

本文导读 本文介绍了京东广告在应对大模型在广告场景应用中的全新挑战时。通过采用  NVIDIA TensorRT-LLM 推理引擎 ，实现了对LLM生成式召回推理的加速实践。 01   生成式推荐系统优势介绍   推荐系统的主要任务是根据用户的历史行为预测其兴趣点，并向其推荐相应的商品。传统的推荐系统在处理用户请求时，会触发多个召回模块（包括热门商品召回、个性化召回、深度召回等），以召回大量候选商品。随后，系统通过相对简单的粗排模型对候选集进行初步筛选，缩小候选范围，最后通过精排和重排模型，确定最终返回给用户的推荐结果。 随着大语言模型（LLM）在推荐系统中的应用，生成式推荐系统相比传统推荐系统展现出以下优势： 1）简化推荐流程： 生成式推荐系统实现了从多级过滤的判别式（discriminative-based）架构向单级过滤的生成式（gene ………………………………