2024.6横向对比各家LLM的Long Context (合集 V1.10)

文章预览

TLDR 本文构造了一个比大海捞针稍难的长上下文测试方案，并对比了目前支持128k和32k以上的上下文的闭源API LLM模型。 仅从这个很狭隘的测试来看，海外头部三家厂商在长上下文上还是领先于国内的。 本文的测试代码框架已经开源，方便大家测试其他数据。 本系列没有得到任何厂商赞助，目前累计花了4300RMB充值各家平台。 Github地址： https: //github.com/SomeoneKong/llm_long_context_bench202405/tree/bench_32k_v1 https: //github.com/SomeoneKong/llm_long_context_bench202405/tree/bench_128k_v1 合集更新历史： 在正文内容上没有太多更新，主要是数据表的更新，可以直接跳去看表格。 V1.10 增加了智谱 6.5发布的新系列模型的结果。 由于SiliconFlow对glm-4-9b的适配只支持32k context，所以仅有32k测试结果。 增加了阿里 qwen2 新系列开源模型的结果。由于SiliconFlow对该系列模型的适配只支持32k context ………………………………