Meta关于深度学习推荐系统的Scaling Law的研究

文章预览

作者 | 番茄爱鸡蛋  整理 | NewBeeNLP  https://zhuanlan.zhihu.com/p/688913185 大家好，这里是 NewBeeNLP。今天看看 Meta 关于深度学习推荐系统 Scaling Law 的研究。 零、论文信息 论文题目：Wukong: Towards a Scaling Law for Large-Scale Recommendation 论文链接：https://arxiv.org/abs/2403.02545 作者信息：所有作者均来自Meta 一、整体总结 本篇剑指一个问题，随着推荐系统Dense层（即除了embedding table以外的计算层）的参数量不断增加，推荐的指标会不会逐步增大呢。 本文给出了肯定的答案，在 一个拥有1460亿条目、720个特征的内部数据集 上逐步扩大Dense层的参数， 本文提出的模型WuKong的训练计算量从 1GFLOP/example扩展到100 GFLOP/example（100 GFLOP/example相当于GPT3的计算规模），Dense层参数规模从0.74B到17B，对应的性能指标展现出了不断提升的趋势。 本文整体贡献： 提出了一个新的特征交 ………………………………