主要观点总结
本文深入研究了推荐系统模型在规模化过程中遇到的嵌入维度坍塌问题，并提出了多嵌入设计来提高模型的可扩展性。通过实验验证了多嵌入设计在减少嵌入坍塌和提升模型效果方面的有效性。
关键观点总结
关键观点1: 推荐系统模型的扩展性问题
随着大数据时代的到来，推荐系统在各个领域发挥着重要作用，但推荐模型的可扩展性成为一大挑战。主流推荐模型的规模停滞不前，限制了系统效果的进一步提升。
关键观点2: 嵌入维度坍塌现象
嵌入维度坍塌指的是在高维空间中，推荐模型的很多特征的嵌入表征只支撑起一个低维的子空间。这导致模型无法充分利用高维空间提供的超大参数容量，从而限制了模型的可扩展性。
关键观点3: 多嵌入范式（Multi-Embedding Paradigm）的提出
为了缓解嵌入维度坍塌问题，提出了多嵌入范式。该范式为所有特征ID学习多套嵌入表征，并基于每套嵌入表征学习独立的专家网络。最后，通过混合专家网络输出最终预估值。
关键观点4: 实验验证
在Criteo和Avazu两个公开CTR数据集上，基于多嵌入范式的实验效果优于单嵌入范式。同时，在腾讯广告的多个场景点击率预估上线该范式，取得了显著的营收提升。
关键观点5: 结论
本文不仅为推荐系统领域提供了新的视角，也为深度学习模型的设计提供了宝贵的启示。随着人工智能技术的不断进步，多嵌入设计有望在更多的应用场景中发挥其潜力，推动推荐系统乃至整个深度学习领域的发展。
文章预览
嘿，记得给“ 机器学习与推荐算法 ”添加 星标 转载：腾讯广告技术 TLDR： 在推荐系统中，模型的参数量被特征嵌入(Embedding)表征主导。所以，要将整个推荐模型做大，需要增加特征嵌入表征的参数量。我们发现，业界主流的显式特征交叉结构会使特征嵌入表征产生维度坍塌，导致无法通过简单地拉长嵌入表征来提升模型效果。针对该挑战，我们提出了一种 多嵌入 (Multi-Embedding)范式，为每个特征学习多个嵌入表征，并且基于每套嵌入表征学习独立的显式交叉专家网络。通过增加每个特征嵌入表征的个数而不是拉长单个嵌入表征的长度，我们在特征交叉推荐模型达成了 Scaling Law：整个推荐模型的参数量越大，效果越好。 该框架适用于所有的主流推荐模型结构，包括DCN V2, NFwFM, IPNN, xDeepFM和DNN等。 链接：https://arxiv.org/abs/2310.04400 研究问题：推荐模型的
………………………………
