Jina AI将LLM Reranker延迟打下来了：21秒变3秒！

文章预览

继 Jina Reranker v2 之后，Jina AI又开源了 PE-Rank ，一种新的基于LLM的重新排序器，用于高效的列表式段落重新排序。 不是将原始文本输入到LLM的上下文窗口，而是使用嵌入模型将每个段落表示为一个特殊标记 ，然后将[指令]+[查询]+[特殊标记]输入到LLM中。在推理时，PE-Rank将输出空间限制在这些特殊标记上，从而实现更高效的解码。PE-Rank将重新排序 100个文档 的延迟从 21秒 大幅减少到 3秒 。 RankGPT（上）与PE-Rank（下）的比较。 RankGPT将整个段落作为输入，并输出有序数字，而PE-Rank将特殊标记列表作为输入和输出。在右侧，展示了使用不同形式的输入在DL19上重新排序的结果。 PE-Rank背景 使用大型语言模型（LLM）作为重新排序器有什么吸引人的地方？ 新任务的灵活指令 零样本能力 上下文推理 但在实践中，是什么阻止人们使用LLM作为重新排序器？ 上下文 ………………………………