ICML 2024 | 维度坍塌视角下的大规模推荐系统

文章预览

在推荐系统中，模型的参数量被特征嵌入(Embedding)表征主导。所以，要将整个推荐模型做大，需要增加特征嵌入表征的参数量。我们发现，业界主流的显式特征交叉结构会使特征嵌入表征产生维度坍塌，导致无法通过简单地拉长嵌入表征来提升模型效果。 针对该挑战，我们提出了一种多嵌入(Multi-Embedding)范式，为每个特征学习多个嵌入表征，并且基于每套嵌入表征学习独立的显式交叉专家网络。通过增加每个特征嵌入表征的个数而不是拉长单个嵌入表征的长度，我们在特征交叉推荐模型达成了Scaling Law： 整个推荐模型的参数量越大，效果越好 。该框架适用于所有的主流推荐模型结构，包括DCN V2, NFwFM, IPNN, xDeepFM和DNN等。该项工作已经被机器学习顶级会议ICML 2024录用，欢迎阅读交流。 论文题目： On the Embedding Collapse when Scaling up Recommendation Models  论文 ………………………………