ASB：LLM智能体应用攻防测试数据集

文章预览

ABS：LLM智能体应用攻防测试数据集 发布时间：2024 年 10 月 03 日 Agent应用 Agent Security Bench (ASB): Formalizing and Benchmarking Attacks and Defenses in LLM-based Agents 尽管基于 LLM 的代理能够通过外部工具和记忆机制解决复杂任务，但也可能带来严重安全风险。现有文献对这些代理的攻防评估并不全面。为此，我们推出了 Agent Security Bench (ASB)，一个综合框架，涵盖 10 个场景、10 个代理、400 多种工具、23 种攻防方法和 8 个评估指标。基于 ASB，我们测试了 10 种提示注入攻击、一种记忆中毒攻击、一种新颖的 Plan-of-Thought 后门攻击、一种混合攻击及 10 种防御措施，涉及 13 个 LLM 骨干网络，总计近 90,000 个测试案例。结果显示，代理在系统提示、用户提示处理、工具使用和记忆检索等阶段存在关键漏洞，最高平均攻击成功率达 84.30%，而当前防御措施效果有限，凸显了代理 ………………………………