专栏名称: 新智元
智能+中国主平台,致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展,关注人机融合、人工智能和机器人革命对人类社会与文明进化的影响,领航中国新智能时代。
今天看啥  ›  专栏  ›  新智元

无需训练,100%完美检索!LLM练出「火眼金睛」,InfiniRetri超长文本一针见血

新智元  · 公众号  · AI  · 2025-03-16 09:00
    

文章预览

   新智元报道   编辑:KingHZ 【新智元导读】 LLM自身有望在无限长token下检索信息!无需训练,在检索任务「大海捞针」(Needle-in-a-Haystack)测试中,新方法InfiniRetri让有效上下文token长度从32K扩展至1000+K,让7B模型比肩72B模型 。 全新检索模式:在无限长token下,大语言模型自身或能检索信息! 受大语言模型(LLM)上下文窗口大小的限制,处理输入token数超过上限的各种任务颇具挑战性,无论是简单的直接检索任务,还是复杂的多跳推理任务。 尽管新提出的各种方法用来增强大语言模型的长上下文处理能力,但这些方法痛点突出: 要么会产生 高昂的训练后成本, 要么需要额外的工具模块(如检索增强生成RAG), 要么在实际任务中显示出改进,并不明显。 研究团队观察了各层注意力分布与生成答案之间的相关性,通过实验证实了注意力分配与检 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览