KLAY: 加速神经符号人工智能

文章预览

KL AY : A CCELERATING  N EUROSYMBOLIC  AI KLAY: 加速神经符号人工智能 https://arxiv.org/pdf/2410.11415 摘要   神经符号AI的一种流行方法涉及将逻辑公式映射到算术电路（由加法和乘法组成的计算图），并将神经网络的输出通过这些电路传递。这种方法以原理性和端到端可微分的方式将符号约束应用于神经网络。然而，算术电路在现代AI加速器上运行具有挑战性，因为它们表现出高度不规则稀疏性。为了解决这一限制，我们引入了 知识层（KLAY ），这是一种新的数据结构，用于表示可以在GPU上高效并行化的算术电路。此外，我们贡献了两种用于将传统电路表示转换为KLAY的算法，以及一种在电路评估期间利用并行化机会的算法。我们通过实验证明，KLAY比现有技术实现了多个数量级的加速，从而为将神经符号AI扩展到更大的实际应用铺平了道路。   1 引言   随着符号 ………………………………