提升5.69倍，高效RAG上下文压缩方法COCOM

文章预览

专注AIGC领域的专业社区，关注微软 、百度文心一言、讯飞星火等大语言模型（LLM）的发展和 应用 落地，聚焦LLM的市场研究和AIGC开发者生态，欢迎关注！ GPT-4、Llama等开闭大模型通过预训练的方式将海量数据积累成一个庞大的知识库，再通过文本问答的形式为用户生成各种内容。但这种方法仅局限于训练数据集，为了扩大输出范围允许模型通过检索额外的数据来丰富生成内容，RAG（知识检索增强）成为了必备功能之一。 RAG也有一个明显的缺点，就是随着上下文信息量的增加，模型的解码时间显著延长 ，严重影响用户获取答案的效率。 所以，阿姆斯特丹大学、昆士兰大学和NAVER实验室的研究人员联合发布了创新压缩方法COCOM（Context COmpression Model）。 论文地址：https://arxiv.org/abs/2407.09252 在传统的RAG模型中，为了生成一个准确的答案，系统需要考虑大 ………………………………