人工智能大模型框架核弹级漏洞复现

文章预览

本文由CVES实验室-7resp4ss同学原创 一、概述 该漏洞源于llama.cpp中的rpc-server功能，评分 9.8分 在 b3561 版本前，llama.cpp在分布式推理的场景下存在可以导致rce的组合漏洞利用（ 本文的研究也基于b3561版本 ）。主要用到了以下两个漏洞  rpc_server::set_tensor函数中存在任意地址写  rpc_server::get_tensor函数中存在任意地址读 根本原因 是llama.cpp在分布式推理是将tensor发送给推理节点时没对tensor结构体进行一定的安全性检测，从而可以攻击推理节点。 llama.cpp 是用来干什么的？ 一句话概括：llama.cpp 是一个用于大模型推理和量化的框架，专门针对 Meta 的 LLaMA 模型进行优化。该框架使用 C++ 开发，具备跨平台支持的优势，例如可以在安卓手机等多种环境中运行大模型推理任务。 分布式推理又是什么个事？ 也就是一台机器跑大模型资源不够，就用多个机器构建集群进 ………………………………