Selective Context：上下文压缩神器，突破 LLM 长文本处理瓶颈

文章预览

在处理长文档和对话时，受限于上下文窗口的限制，大型语言模型（LLM）常面临性能下降和信息丢失的挑战。那么，如何能够在不更换大模型的情况下，又能够将更多的上下文信息传给大模型呢？今天就介绍一个很不错的 Prompt 压缩的项目—— Selective_Context [1] ，通过压缩提示和上下文，使 LLMs 能够高效处理双倍内容，同时保持性能不下降。 Selective_Context 核心介绍 Selective Context 完成压缩的核心技术在于自信息测量。在信息论中，自信息衡量与一个事件相关的惊讶或不确定性水平；罕见事件传递更多信息，因此具有更高的自信息，而常见事件传递较少信息，自信息较低。在语言建模中，自信息可以用来评估词汇单元（如单词、短语或句子）的信息量。自信息较低的词汇单元信息量较少，更可能从上下文中推断出来，因此在 LLM 推理过程中，这些输入 ………………………………