美国安全与新兴技术中心发布：《人工智能安全的关键概念：机器学习中可靠的不确定性量化方法》

文章预览

2024年6月，美国安全与新兴技术中心（CSET）发布了文章《人工智能安全的关键概念：机器学习中可靠的不确定性量化方法》（Key Concepts in AI Safety：Reliable Uncertainty Quantification in Machine Learning）。人工智能安全是机器学习研究的一个领域，其旨在找出机器学习系统中意外行为的原因，并开发工具确保这些系统能安全可靠地运行。事实上，让机器学习系统“知道自己不知道什么”在技术界被称为“不确定性量化”（uncertainty quantification），这是机器学习领域一个开放且被广泛研究的问题。本文介绍了不确定性量化是如何工作的，为什么困难，以及其未来的前景，以期为读者探讨人工智能安全的关键概念提供参考。 一、介  绍 过去十年间机器学习研究不断发展，催生出一些能力出众但依旧不可靠的系统，例如OpenAI开发的聊天机器人ChatGPT。自该系统于2022 ………………………………