【清华SIGIR2024最佳论文】密集检索扩展定律

文章预览

论文链接 https://arxiv.org/abs/2403.18684 代码链接 https://github.com/Suffoquer-fang/scaling_dr 内容简介 扩展神经模型在广泛的任务中取得了重大进展，特别是在语言生成方面。以前的研究发现，神经模型的性能经常遵循可预测的扩展定律（Scaling Law），与训练集大小和模型大小等因素相关。这种发现在大规模实验成本越来越高的情况下很有价值。然而，由于检索指标的离散性质以及训练数据和模型大小在检索任务中的复杂关系，这种扩展定律在稠密向量检索中尚未得到充分探索。 在本研究中，我们研究了稠密向量检索模型的性能是否像其他神经模型一样遵循特定的扩展定律。我们提出使用与训练损失函数类似的对比困惑度作为评估指标，并对具有不同参数大小的检索模型，在不同数量的标注数据设定下，进行了大量的实验。结果表明，在我们的设置下，稠密向 ………………………………