专栏名称: PaperAgent
日更,解读AI前沿技术热点Paper
目录
相关文章推荐
凰家评测  ·  OPPO ... ·  9 小时前  
今天看啥  ›  专栏  ›  PaperAgent

DemoRank: 构建依赖感知示例用于LLM Reranker,优于E5、SBERT等

PaperAgent  · 公众号  ·  · 2024-06-25 11:31

文章预览

将大型语言模型(LLMs)作为 零样本段落排名器 研究越来越多,但是 大多集中在如何检索示例并直接使用top-k示例进行ICL, 忽略了示例之间的依赖性 ,这在少数样本(few-shot)的排序任务中可能导致性能不佳。 与选择前两个示范(z1和z2)相比, z1和z5的组合提供了更丰富和多样化的查询-段落关系 ,从而得出更好的相关性评估。 为了解决这一问题,提出了DemoRank框架, 它将示例选择问题转化为检索(retrieve)和重排(rerank)过程 。 DemoRank框架概述 。DemoRank由两个主要组件组成: DRetriever 和 DReranker 。使用LLM评分的示范候选来训练DRetriever,并构建一种依赖感知的训练样本来训练DReranker。在推理过程中,执行检索然后重新排名的流水线,并且使用重新排名后的前k个用于ICL。 示例池构建(Demonstration Pool Construction) : 使用训练集构建示例池P,为每个 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览