RAG新范式MemLong：用于长文本生成的记忆增强检索

文章预览

传统的注意力机制由于时间和空间复杂度的二次方增长，以及在生成过程中键值缓存的内存消耗不断增加，限制了模型处理长文本的能力。相关的解决方案包括减少 计算复杂度 、 改进记忆选择 和 引入检索增强 语言建模。 检索增强生成（RAG）和MemLong的记忆检索流程 。 (a) 当检索到的信息长度超过模型的处理能力时，RAG甚至可能会降低生成性能（黄色）(b) MemLong 利用外部检索器来获取历史信息，然后将这些信息以键值对（K-V）的形式而不是文本形式传递给模型。 提出一种新 方案 MemLong ，结合一个非可微分的检索-记忆模块和一个部分可训练的解码器语言模型，来增强长文本上下文的语言建模能力。 MemLong利用外部检索器来检索历史信息，并通过细粒度、可控的检索注意力机制，将语义级别的相关信息块整合到模型中。这种方法不仅提高了模型处 ………………………………