LEARN: 大模型知识增强的工业级推荐模型

文章预览

嘿，记得给“ 机器学习与推荐算法 ”添加 星标 作者：Lukan 链接：https://zhuanlan.zhihu.com/p/703489474 TLDR: 今天分享一篇快手公司发表的大模型在推荐系统中的落地应用工作。这篇文章主要做了两个工作：（1）使用冻结的LLM提取文本embedding后，设计了一个基于transformer的双塔结构，用对比学习的方式训练用户行为序列数据，以提取更适用于推荐任务的user embedding和item embedding，（2）在排序模型中加一个CVR辅助任务，使用1学习到的user embedding和item embedding接入一个MLP网络和推荐目标做进一步对齐，然后取出中间层特征供排序模型使用。 论文： https://arxiv.org/pdf/2405.03988 方法其实和上次介绍的小红书的NoteLLM有点类似的地方，都是想用大模型作为特征提取器来提取item文本中的语义信息来弥补推荐模型中的冷启动以及长尾物品由于行为稀疏学不好的问题，并且都 ………………………………