多模态对齐在小红书推荐的研究及应用

主要观点总结

本文介绍了小红书中台算法团队在CIKM 2024上提出的创新联合训练框架AlignRec，用于对齐多模态表征学习模型和个性化推荐模型。文章指出了多模态模型与推荐模型在训练过程中的步调不一致问题，导致联合训练被推荐信号主导，丢失大量多模态信息。AlignRec通过分阶段对齐的方式，设计了三种针对性的优化损失函数，使联合训练能够同时兼顾多模态信息和推荐信息。实验结果表明，AlignRec在多个数据集上的性能超过了现有的SOTA模型。

关键观点总结

关键观点1: 研究背景

多模态模型与推荐模型在训练过程中存在步调不一致问题，导致联合训练效果不理想。

关键观点2: 研究目的

解决多模态模型与推荐模型在联合训练过程中的对齐问题，提高推荐效果。

关键观点3: 解决方案

提出AlignRec联合训练框架，通过分阶段对齐和三种针对性的优化损失函数，兼顾多模态信息和推荐信息。

关键观点4: 实验结果

AlignRec在多个数据集上的性能超过现有SOTA模型，对长尾推荐有显著改善。

关键观点5: 核心挑战

如何对齐多模态表征、平衡内容模态和ID模态的学习速度以及如何评估多模态特征对推荐系统的影响。

关键观点6: 团队贡献

设计可复用的多模态召回范式，提出AlignRec联合训练方式和分阶段对齐的模式及中间指标评估方式。

文章预览

在 CIKM 2024 上，小红书中台算法团队提出了一种创新的联合训练框架 AlignRec，用于对齐多模态表征学习模型和个性化推荐模型。本文指出，由于多模态模型与推荐模型在训练过程中存在步调不一致问题，导致联合训练被推荐信号主导，从而丢失大量多模态信息。AlignRec 通过分阶段对齐的方式，设计了三种针对性的优化损失函数，使得联合训练能够同时兼顾多模态信息和推荐信息。实验结果表明，AlignRec 在多个数据集上的性能超过了现有的 SOTA（state-of-the-art）模型。此外，AlignRec 还提供了在当前广泛使用的公开数据集亚马逊上的预处理特征，这些特征的效果显著优于现有的开源特征。 最近多模态是个非常热门的话题，尤其是在大模型以及 AIGC 领域，多模态基建和技术是走向未来商业化的奠基石。在过去的多模态大模型研究方向上，模态的“对齐”已 ………………………………