论概率神经符号语义学习的难度，梯度微分复杂性

文章预览

On the Hardness of Probabilistic Neurosymbolic Learning  论概率神经符号学习的难度 https://arxiv.org/abs/2406.04472 摘要   纯粹的神经学习的局限性引发了对概率神经符号模型的兴趣，这些模型将神经网络与概率逻辑推理相结合。由于这些神经符号模型 通过梯度下降进行训练，我们研究了概率推理的微分复杂性 。我们证明， 尽管近似这些梯度在一般情况下是难以处理的，但在训练过程中变得可处理 。此外，我们引入了 基于模型采样的无偏梯度估计器WeightME。在温和的假设下，WeightME通过对SAT求解器的对数次调用，以概率保证近似梯度 。最后，我们评估了这些梯度保证的必要性。实验表明， 现有的有偏近似方法在优化可精确求解的情况下表现不佳。  1. 引言   神经符号人工智能旨在将神经方法和符号方法的优势结合到一个统一的框架中（Garcez等，2019；Hitzler，2022 ………………………………