不再大海捞针！Loong：贴合真实场景的长文本评测基准

文章预览

论文标题： Leave No Document Behind: Benchmarking Long-Context LLMs with Extended Multi-Doc QA 论文链接： https://arxiv.org/abs/2406.17419 代码链接： https://github.com/MozerWang/Loong 简单谈一下这个工作的出发点： (以下是作者对这篇工作出发点的讨论)  目前最常用的长文本评估工作是“大海捞针”，几乎所有发布的长文本模型都会在该任务上评测，但这种评测方法只评测了长文本建模能力的表层--知识定位能力，并且在实际测试过程中，Prompt 的差异对模型的表现影响较大，不能准确地评估模型真实长文本能力。从任务形式上来讲，大海捞针要求模型在长文本中定位出少量与答案相关的片段，这与真实应用场景是不贴合、有偏差的。从评测表现上来看，各家大模型已经将“大海捞针”刷饱和了，几乎都是满分表现，并不能反映出模型之间的差距。并且由于任务形式单一，在训 ………………………………