谷歌 | 物品-语言大模型推荐系统

文章预览

TLDR: 当前将大语言模型用于推荐系统存在三方面问题：1）大语言模型不在推荐系统数据上训练，并且推荐数据通常不公开可用。2）用户交互数据通常与自然语言文本模式不同，无法确定大语言模型能否从交互数据中学习到更多的重要知识。3）难以同时适配不同的用例训练。为解决以上限制，本文提出了一个物品语言模型，其由一个物品编码器和一个冻结的大语言模型组成，前者对用户交互信息进行编码以生成与文本对齐后的物品表示，后者用保留的预训练知识理解这些物品表示。本文进行了大量的实验，证明了语言对齐和用户交互知识在物品编码器中的重要性。 论文： arxiv.org/abs/2406.02844 1 研究背景 用户与推荐系统的交互通常不是以自然语言形式进行的。例如，视频推荐系统通常根据用户从观看历史和其他候选特征中隐含的偏好向用户推荐视频 ………………………………