【ETHZ博士论文】认证神经网络的表达能力，86页pdf

文章预览

神经网络对抗扰动样本的脆弱性是一个主要的可靠性问题，阻碍了它们在安全关键应用中的部署。为了解决这个问题，验证方法应运而生，用于分析局部鲁棒性，通常依赖于凸松弛来过度估计网络的行为。为了获得易于认证的网络，设计了专门的训练方法，旨在训练既准确又可认证鲁棒的网络。然而，除了最简单的情况外，这些训练方法仍然无效，因此尽管付出了重大努力，训练可认证的神经网络仍然是一个未解决的挑战。这引发了关于可认证神经网络表达能力的问题，特别是它们逼近给定函数的能力。 在本论文中，我们研究了在凸松弛下ReLU神经网络的表达能力。我们的结果表明，虽然存在可认证的网络，但它们的表达能力相比标准网络是有限的 。具体而言，我们展示了通过区间边界传播（IBP）认证的ReLU网络可以近似编码紧凑域上的连续函数， ………………………………