国内外AI安全分析

文章预览

国内的安全厂商目前没有一家正常的，我说的正常是指有预训练的，正儿八经的采集了很多和安全相关的数据来做的，拥有正儿八经的安全研究团队的。 国外的LLM安全公司很多，大部分都是在研究jailbreak，因为比如anthropic，gpt之类的不允许做一些违反人类价值观的事情，这些事情可能会导致作恶，但是这个其实也滋生了新的一个问题，就是不对等机会的霸权的可能性，比如 anthropic自己用未处理过的LLM，给别人用加固过后的，使用的人不平等。 LLM安全的机会还是主要在越狱上，LLM infra的安全属于传统的应用安全范畴，比如一些推理框架vllm，ollama，langchain，llamaindex等。应用安全嘛，传统安全你看赚钱嘛？所以llm infra并不会有新的赚钱机会。 国外的比较牛逼的几个公司，一个 Gray Swan ，一个good fire， 一个haize 目前最强的应该就是这个gray swan，这个公 ………………………………