揭开RAG安全面纱，SafeRAG带你一览RAG Pipeline中潜在的脆弱性

文章预览

检索增强生成（RAG）通过巧妙结合先进的检索与生成技术，特别适用于法律、医疗、金融等对事实准确性要求极高的关键领域，能显著提升 LLMs 的专业应用能力。 但   RAG 真的安全吗 ？ 显然，攻击者可以操纵 RAG Pipeline 的任意阶段（索引、检索、生成）的数据流（知识库、检索上下文、过滤上下文），轻易地将低质、错误、误导等恶意的攻击文本，间接注入到 LLMs 的输出中。 SafeRAG 从检索和生成两方面系统地评估了 RAG 各个组件在面对数据注入时的脆弱性 。 在 14 个 RAG 主流的组件进行实验结果表明，大多数 RAG 组件无法有效防御数据注入攻击，攻击者可以操控 RAG Pipeline 中的数据流，欺骗模型生成低质、错误、误导的内容，甚至是拒绝提供服务（Denial-of-Service, DoS）。 本文将带你一览 SafeRAG 是如何揭开 RAG 安全面纱，揭示了哪些安全风险。 论文标 ………………………………