大语言模型向量检索技术综述：背景知识、数据效率、泛化能力、多任务学习、未来趋势

文章预览

预训练语言模型如BERT和T5，是 向量检索 (后续文中使用 密集检索 ) 的关键后端编码器。然而，这些模型通常表现出有限的泛化能力，并在提高领域内准确性方面面临挑战。最近的研究探索了使用大型语言模型（LLMs）作为检索器，实现了各种任务的最新性能。尽管取得了这些进展，LLMs相对于传统检索器的具体优势，以及不同LLM配置—例如参数大小、预训练持续时间和对齐过程—对检索任务的影响仍然不清楚。在这项工作中，我们对包括领域内准确性、数据效率、零样本泛化、长文本检索、基于指令的检索和多任务学习在内的广泛检索任务进行了全面的实证研究。我们评估了超过15种不同的后端LLMs和非LLMs。我们的发现揭示了更大的模型和广泛的预训练一致地提高了领域内准确性和数据效率。此外，更大的模型在零样本泛化、长文本检索、基于指令的 ………………………………