长文本+o1？评估LLM在真实世界长文本多任务中的深度理解与推理能力

文章预览

近年来，长文本大语言模型的研究取得了显著进展，模型的上下文窗口长度已经从最初的 8k 扩展到 128k 甚至 1M 个 tokens。然而，一个关键的问题仍然存在： 这些模型是否真正理解了它们所处理的长文本？ 换句话说，它们是否能够基于长文本中的信息进行深入的理解、学习和推理？ 这样的长文本复杂推理与问答场景其实相当普遍：例如，在长篇小说中，正确理解人物关系的微妙变化，抓住隐晦的线索，推断出人物行为背后的动机和情感变化；在法律文书的分析中，结合上下文推导出合规性问题、判断潜在的法律风险，并提出合理的法律建议；在学术论文中，整合多篇文献的结论，发现不同研究之间的矛盾与关联，从而提出新的研究方向或假设；在代码库中，根据长代码库的上下文以及跨文件之间的链接回答关于功能实现或代码错误的问题，等等 ………………………………