长上下文能力只是吹牛？最强GPT-4o正确率仅55.8%，开源模型不如瞎蒙

文章预览

前言   当今的LLM已经号称能够支持百万级别的上下文长度，这对于模型的能力来说，意义重大。但近日的两项独立研究表明，它们可能只是在吹牛，LLM实际上并不能理解这么长的内容。 Pytorch训练营，花两个星期彻底掌握代码实现 CV各大方向专栏与各个部署框架最全教程整理 CV全栈指导班、基础入门班、论文指导班 全面上线!! 来源： 新智元 仅用于学术分享，若侵权请联系删除 大数字一向吸引眼球。 千亿参数、万卡集群，——还有各大厂商一直在卷的超长上下文。 从一开始的几K几十K，发展到了如今的百万token级别。 Gemini的最新版本可以接收200万个token作为上下文。 这大概相当于140万个单词、2小时视频或者22小时的音频。 但不知诸位平时用得着这么长的上下文吗？毕竟100K已经相当于一部比较长的小说了。 更重要的是，LLM真的能在这个长度上进 ………………………………