文章预览
将大型语言模型(LLMs)作为 零样本段落排名器 研究越来越多,但是 大多集中在如何检索示例并直接使用top-k示例进行ICL, 忽略了示例之间的依赖性 ,这在少数样本(few-shot)的排序任务中可能导致性能不佳。 与选择前两个示范(z1和z2)相比, z1和z5的组合提供了更丰富和多样化的查询-段落关系 ,从而得出更好的相关性评估。 为了解决这一问题,提出了DemoRank框架, 它将示例选择问题转化为检索(retrieve)和重排(rerank)过程 。 DemoRank框架概述 。DemoRank由两个主要组件组成: DRetriever 和 DReranker 。使用LLM评分的示范候选来训练DRetriever,并构建一种依赖感知的训练样本来训练DReranker。在推理过程中,执行检索然后重新排名的流水线,并且使用重新排名后的前k个用于ICL。 示例池构建(Demonstration Pool Construction) : 使用训练集构建示例池P,为每个
………………………………