主要观点总结
本次分享关于大模型软件生态系统的安全隐患，包括传统安全漏洞和新型安全威胁。主要介绍了大模型软件生态系统的架构、发现的安全问题、安全检测技术以及相关思考和总结。
关键观点总结
关键观点1: 大模型软件生态系统的架构
生态系统分为用户层、模型层、推理层和训练层。每个层级中包含对应的功能，如用户层负责与终端用户进行交互，模型层负责推理决策等。
关键观点2: 发现的安全问题
包括传统安全漏洞如模版注入、拒绝服务等，以及新型安全威胁如自然语言获取shell、记忆投毒和持久性提示劫持等。
关键观点3: 安全检测技术
介绍了使用RAG和Agent在安全检测中的探索，包括接口信息收集、嵌入检索效果提升、智能体调度执行检测操作等。
关键观点4: 思考与总结
呼吁开发者重视大模型软件生态系统的安全性，安全从业人员可以从内容安全、基础设施安全和具身安全三个方面介入。
文章预览
“ 大模型技术的迅猛发展和广泛应用，催生了一个庞大而复杂的软件生态系统，支撑着大模型的训练、推理、部署和服务。然而，随之而来的安全隐患也逐渐显现。 从"Shadowray"漏洞（CVE-2023-48022）到"Probllama"漏洞（CVE-2024-37032），一系列安全事件揭示了大模型软件生态系统安全的脆弱性。 ” 一起来回顾下 刘昭 在SDC2024 上发表的议题演讲： 《大模型软件生态系统的安全隐患：从传统漏洞到新型威胁》 刘昭，360 AI安全实验室高级专家 主要研究方向为人工智能安全、软件分析、漏洞挖掘与利用，曾挖掘谷歌、Meta、高通等多家厂商漏洞80余个。 *以下为速记全文 大家好，我是来自360 AI安全实验室的刘昭，今天给大家分享一下我们在大模型软件生态系统的研究与发现。首先介绍一下360 AI安全实验室，主要关注整个AI系统的安全，例如大模型越狱提示测评
………………………………
