ICLR2025 | SLMRec: 重新思考大语言模型在推荐系统中的价值

文章预览

嘿，记得给“ 机器学习与推荐算法 ”添加 星标 TLDR:  本文探究了大模型架构在序列推荐中参数量与效果的关系，并提出了一种知识蒸馏的方法，使得小语言模型仅用13%的模型参数，取得了比现有大模型推荐方法略好的效果，并取得了在训练/推理阶段6.6x/8.0x的加速。 论文： https://openreview.net/forum?id=G4wARwjF8M 代码： https://github.com/WujiangXu/SLMRec 背景介绍 背景与动机 在序列推荐领域，传统序列推荐方法通过设计复杂序列编码器捕捉用户兴趣演化，如LSTM、GRU及基于自注意力的模型。然而，受限于模型规模（通常参数少于0.1B），其性能提升逐渐陷入瓶颈。近年来，大语言模型（LLM）凭借其海量训练数据和庞大的参数规模（如7B+），展现出强大的表征能力，推动了基于LLM的推荐方法（LLMRec）的快速发展。如图1所示，现有LLMRec方法可分为两类： 图1：传统序 ………………………………