京东广告生成式召回基于 NVIDIA TensorRT-LLM 的推理加速实践

文章预览

0000 生成式推荐系统优势介绍 推荐系统的主要任务是根据用户的历史行为预测其兴趣点，并向其推荐相应的商品。传统的推荐系统在处理用户请求时，会触发多个召回模块（包括热门商品召回、个性化召回、深度召回等），以召回大量候选商品。随后，系统通过相对简单的粗排模型对候选集进行初步筛选，缩小候选范围，最后通过精排和重排模型，确定最终返回给用户的推荐结果。 随着大语言模型（LLM）在推荐系统中的应用，生成式推荐系统相比传统推荐系统展现出以下优势： 1）简化推荐流程：生成式推荐系统实现了从多级过滤的判别式（discriminative-based）架构向单级过滤的生成式（generative-based）架构的转变。通过直接生成推荐结果，简化了推荐流程，降低了系统复杂度。 2）知识融合：LLM 具有更强的泛化能力和稳定性。利用 LLM 所包含的世界 ………………………………