《评估生成式人工智能的红队方法》最新37页长综述

文章预览

为了应对人们对生成式人工智能（ GenAI ）模型的安全性、保障性和可信性日益增长的担忧，从业者和监管者都将人工智能 "红队"（red-teaming）作为其识别和降低这些风险的战略的关键组成部分。然而，尽管人工智能红队在政策讨论和企业信息传递中扮演着核心角色，但对于它的确切含义、它在监管中能发挥什么作用，以及它与网络安全领域最初设想的传统红队实践之间的关系，仍然存在重大疑问。在这项工作中，我们确定了人工智能行业最近的 "红队"活动案例，并对相关研究文献进行了广泛调查，以确定人工智能 "红队"实践的范围、结构和标准。我们的分析表明，先前的人工智能 "红队"方法和实践在几个方面存在分歧，包括活动的目的（通常比较模糊）、被评估的人工智能产品、开展活动的环境（如参与者、资源和方法），以及由此产生的决策（ ………………………………