无需训练，100%完美检索！LLM练出「火眼金睛」，InfiniRetri超长文本一针见血

文章预览

   新智元报道   编辑：KingHZ 【新智元导读】 LLM自身有望在无限长token下检索信息！无需训练，在检索任务「大海捞针」（Needle-in-a-Haystack）测试中，新方法InfiniRetri让有效上下文token长度从32K扩展至1000+K，让7B模型比肩72B模型 。 全新检索模式：在无限长token下，大语言模型自身或能检索信息！ 受大语言模型（LLM）上下文窗口大小的限制，处理输入token数超过上限的各种任务颇具挑战性，无论是简单的直接检索任务，还是复杂的多跳推理任务。 尽管新提出的各种方法用来增强大语言模型的长上下文处理能力，但这些方法痛点突出： 要么会产生 高昂的训练后成本， 要么需要额外的工具模块（如检索增强生成RAG）， 要么在实际任务中显示出改进，并不明显。 研究团队观察了各层注意力分布与生成答案之间的相关性，通过实验证实了注意力分配与检 ………………………………