蚂蚁集团在大模型推荐上的算法和应用

主要观点总结

本文介绍了蚂蚁集团将大模型应用于推荐场景的工作，包括背景介绍、利用大模型进行知识提取、大模型作为教师模型以及面临的挑战和解决方案。文章详细阐述了知识提取和推荐系统的发展历程，以及大模型在推荐系统中的三大挑战和应对策略。此外，还介绍了模型蒸馏的效果、模型应用及蒸馏后的使用场景等问题。分享嘉宾胡斌斌是蚂蚁集团AI创新研发部门的算法专家，研究方向包括图学习和大语言模型等。

关键观点总结

关键观点1: 背景介绍

推荐系统的流程、存在的问题、语言模型的发展历程以及推荐模型的发展历程。

关键观点2: 利用大模型进行知识提取

大模型生产知识的核心流程、关系过滤和目标实体生成的方法、与现有SOTA方法的对比、知识的重要性以及RAG的优化。

关键观点3: 大模型作为教师模型

将大模型作为教师模型用于推荐系统的实践、蒸馏过程、推荐理由的生成、评估方法和面临的挑战。

关键观点4: 嘉宾介绍

胡斌斌的个人简介和研究方向。

文章预览

导读   本文将分享大模型在蚂蚁集团推荐场景中的应用（以下全部为蚂蚁集团的研究工作及落地）。 主要内容包括以下几大部分： 1.  背景介绍 2.  利用大模型进行知识提取 3.   大模型作为教师模型 4.  Q 分享嘉宾｜胡斌斌 蚂蚁集团AI创新研发部门NextEvo 算法专家   编辑整理｜王甲君 内容校对｜李瑶 出品社区｜ DataFun 01 背景介绍 首先来介绍一下大模型推荐的背景。 推荐系统的流程主要包括以下几个步骤：①系统基于用户反馈训练模型，以捕捉用户的偏好；②系统生成推荐结果并返回给用户；③用户与推荐商品进行交互，生成反馈；④系统收集这些反馈再去优化模型。这样形成一个完整的闭环。 在这一过程中存在着一些问题，如曝光偏差（Exposure Bias）和流行度偏差（Popularity Bias），这会导致推荐结果产生偏差。为了解决这些问题，我们希望引 ………………………………