【ETHZ博士论文】神经网络训练与认证，101页pdf

文章预览

确保神经网络系统在关键任务应用中的安全性和可信度是其安全采用的关键。然而，尽管付出了大量努力，训练满足这些安全和可信属性的网络以及验证它们是否满足这些属性仍然是未解决的挑战。在本论文中，我们解决了这些挑战，并展示了它们是密切相关的。我们提出了两种新颖的神经网络验证方法，PRIMA和MN-BAB，在可扩展性和精度方面推动了神经网络验证的界限。然后，我们提出了一种新的认证训练方法SABR，利用这些更精确的验证方法，通过减少（过度）正则化来提高标准和认证准确性。 由于神经网络验证一般是NP完全的，大多数验证器通过引入非线性激活函数的过度近似来放松基础优化问题。PRIMA和MN-BAB的关键组件是多神经元松弛的高效计算和执行，该方法联合近似多个激活函数，而不是单独近似，从而捕捉复杂的相互依赖性并显著提高 ………………………………