LLM在Reranker任务上的最佳实践？A simple experiment report（with code）

文章预览

知乎：车中草同学(已授权) 链接：https://zhuanlan.zhihu.com/p/987727357 引言 在BERT时代，对于Reranker任务，我们使用encoder-only的BERT为基座，拼接query和doc输入到BERT中去，在使用CLS的向量通过一个MLP，得到得分来做Reranker任务。 在LLM出来之后，一个很自然的想法是，我们能否使用decoder-only的LLM来作为Reranker任务的基座。 本篇实验报告中，在有监督微调的场景下，如下图所示，笔者探索了以下两种使用LLM做Reranker任务的方法。并且与BERT类模型做比较。 生成的方法：直接用生成的方法去做，输入query和doc，直接让大模型预测相关（是）和不相关（否）。 判别的方法：和传统的BERT一样，在大模型后面增加一个MLP层，来得到score。一般是：让llm的last_hidden_state通过MLP层去得到一个score。 本篇实验报告试图回答这几个问题 ？ 在reranker任务上使用llm，是否比bert类模型有 ………………………………