RecSys2024 | 大序列推荐模型的扩展定律

文章预览

嘿，记得给“ 机器学习与推荐算法 ”添加 星标 TLDR: 本文探索了大型序列推荐模型的扩展定律。具体来说，该研究通过将模型参数扩展至0.8B，验证了扩展定律在数据受限情况下的适用性，并预测了两个大规模模型的测试损失。通过实验，研究发现扩大模型规模能显著提升在冷启动、鲁棒性、长期偏好等复杂推荐任务中的性能。本文首次在基于纯ID的推荐模型上进行扩展定律研究。 论文： https://arxiv.org/abs/2311.11351 在当今信息爆炸的时代，推荐系统已经成为互联网服务中不可或缺的一部分，它们帮助用户在海量信息中发现个性化的内容。随着深度学习技术的发展，特别是大规模模型如基于Transformer的模型，已经在多个领域取得了显著的性能提升。这些模型的性能与模型/数据规模之间存在幂律关系（扩展定律），其为设计和优化大规模模型提供了重要 ………………………………