微软发布针对AIGC的红队测试开源工具

文章预览

近日，微软发布了PyRIT（用于生成式人工智能的Python风险识别工具包）红队测试工具，通过自动化帮助识别生成式人工智能中的风险。这是一个开源的红队测试工具，旨在帮助安全专业人员和机器学习工程师识别生成式人工智能中的风险。 微软表示，PyRIT通过自动化任务和标记需要进一步调查的领域，提高了审计效率，本质上增强了手动红队测试。 这家科技巨头指出，对生成式人工智能进行红队测试与探测传统的人工智能系统或传统系统不同，主要是因为它需要识别安全风险和人工智能风险，生成式人工智能更具概率性，且由于生成式人工智能系统架构的广泛变化。 生成式人工智能可能会产生不实或不准确的内容，其输出甚至会受到微小输入变化的影响，红队测试这些系统时也需要考虑这些风险。此外，微软指出，生成式人工智能系统可能从独立 ………………………………