还在“卷”长度？长文本模型真的基于上下文进行回复吗？

文章预览

近年来，随着长文本模型（Long-context Model, LCM）技术的突飞猛进，处理长上下文的能力已成为各大语言模型（Large Language Model, LLM）的核心竞争力，也是各大技术厂商争夺的焦点。截至2023年12月，鲜有模型能够超越8K上下文的限制，然而到了2024年9月，Gemini Pro模型已经能够处理长达2M的上下文。在短短9个月的时间里，长文本模型的上下文窗口实现了250倍的惊人增长。最近备受关注的OpenAI的o1-preview模型， 第三方文档 [1] 也宣称能够处理长达130K的上下文。 那么，这些模型在长文本理解任务的基准测试中表现如何呢？通过观察最新或最常用的几个基准测试榜单，可以发现一个有趣的现象：无论是在 处理长度 （图1：XL2Bench，2024年）， 任务难度 （图2：Ruler，2024年），还是 真实世界任务 （图3：LongBench，2024年）方面， 开源模型普遍落后于闭源模型 。除此 ………………………………