【NeurIPS2024】将连续潜在变量模型扩展为概率积分电路

主要观点总结

这篇文章介绍了概率积分电路（PICs）作为一种具备连续潜在变量（LVs）的表达能力强的生成模型。文章重点阐述了PICs的构建方式、训练方法和神经功能共享技术。通过解决树状 PICs 面临的大规模内存处理需求的问题，提出了构建DAG形状的 PICs流程和张量化电路架构的训练方法。实验证明了功能共享的有效性和 QPCs 相较于传统 PCs 的优越性。

关键观点总结

关键观点1: PICs作为生成模型的特点

PICs是一种符号化的计算图，具备连续潜在变量（LVs），通过相加、相乘或对某些 LV 进行积分来构建函数层次结构。

关键观点2: 解决大规模内存处理需求的问题

文章提出了构建有向无环图（DAG）形状的 PICs 的流程，使用张量化电路架构训练 PICs，实现可扩展的训练，解决了树状 PICs 在大规模下的内存处理需求问题。

关键观点3: 实验证明功能共享的有效性和 QPCs 的优越性

广泛的实验证明了神经功能共享技术的有效性，以及 QPCs 相较于传统 PCs 的优越性。

文章预览

概率积分电路（PICs）最近被提出作为一种概率模型，具备表达能力强的生成模型背后的关键要素：连续潜在变量（LVs）。PICs 是符号化的计算图，将连续 LV 模型定义为函数层次结构，这些函数通过相加和相乘，或者对某些 LV 进行积分而构成。如果可以解析地积分出 LV，则它们是可解的，否则可以通过称为 QPCs 的可解概率电路（PC）来近似，该电路编码了分层数值求积过程。到目前为止，只有树状的 PICs 被探索过，而通过数值求积训练它们在大规模下需要大量内存处理。本文中，我们解决了这些问题，并提出了：(i) 从任意变量分解构建有向无环图（DAG）形状的 PICs 的流程，(ii) 使用张量化电路架构训练 PICs 的方法，以及 (iii) 神经功能共享技术以实现可扩展的训练。在广泛的实验中，我们展示了功能共享的有效性以及 QPCs 相较于传统 PCs 的优越性。 ………………………………