大神Karpathy：我给大模型「SQL注入」攻击，简直不要太轻松

文章预览

大模型的安全性，可以说是 「 有很大进步空间 」 。 AI 大牛 Andrej Karpathy 又来科普知识了，这次的主题是「 利用特殊 token 对 LLM 进行类 SQL 注入的攻击 」。 所谓 SQL 注入攻击，它是一种网络攻击技术。攻击者通过将恶意的 SQL 语句插入到应用程序的输入字段中，诱使后台数据库执行这些恶意的 SQL 语句。此类攻击通常利用应用程序对用户输入的处理不当，比如没有正确地对输入进行过滤或转义，导致攻击者能够访问、修改甚至删除数据库中的数据。  由于人们的安全意识逐渐升高，目前对于大多数软件产品来说，SQL 注入都不应该出现。 但在大模型领域，一切都还处于初步阶段。LLM 分词器负责对输入字符串中的特殊 token（如  、  等）进行解析。虽然这看起来很方便，但最多会导致误判；最坏的情况下会导致 LLM 安全漏洞，相当于 SQL 注入攻击。 ………………………………