小红书用大模型搞推荐

文章预览

小红书NoteLLM-2 : 多模态大模型表征赋能推荐 标题: NoteLLM-2: Multimodal Large Representation Models for Recommendation 地址: https://arxiv.org/abs/2405.16789 公司: 小红书 投稿: NeurIPS'24 1. 前言 现阶段, 大语言模型(LLM)由于其在自然语言理解上的突出表现 & 优势, 在文本表征任务上有很多应用, 但鲜有工作能利用LLM来辅助提升多模态表征任务。比如小红书的多模态I2I推荐召回场景就是一个多模态表征任务场景。 将LLM应用于多模态I2I可以大致分成两种: 一种最直接的方式是预训练多模态大语言模型(MLLMs)表征, 对应图中灰色箭头的流程, 但这需要依赖高质量 & 大规模的训练数据, 训练过程及训练成本都非常高, 业务上可能难以接受。 另一种方式是基于已有的LLM和预训练视觉Encoder, 使用业务数据End-to-End训练, 实现集成 & 融合, 对应图中黑色箭头的流程, 这种方式只依赖场景数据, ………………………………