神经网络到张量网络的“变身”

主要观点总结

本文介绍了玻尔兹曼学习机及其变体的发展状况，以及其在神经网络中的二维张量网络表示。文章从背景知识出发，逐步阐述了玻尔兹曼学习机的概念、发展、相互作用形式，以及它在机器学习中的实际应用。然后，通过举例和图示详细描述了如何将玻尔兹曼学习机转化为二维张量网络结构，并分析了这种表示方式在模型表达能力、配分函数计算等方面的优势。此外，文章还介绍了与玻尔兹曼学习机相关的其他模型和技术，如自回归模型、张量网络缩并算法等。最后，给出了参考文献。

关键观点总结

关键观点1: 玻尔兹曼学习机及其变体的发展状况

介绍了玻尔兹曼学习机的概念、发展、特点及其变体如受限玻尔兹曼学习机和深度玻尔兹曼学习机的介绍。

关键观点2: 玻尔兹曼学习机的二维张量网络表示

详细描述了如何将玻尔兹曼学习机转化为二维张量网络结构，包括RBM和DBM的转化过程，以及这种表示方式在模型表达能力和配分函数计算方面的优势。

关键观点3: 玻尔兹曼学习机的相互作用形式

阐述了玻尔兹曼学习机中可见变量与可见变量、隐变量与隐变量以及RBM与DBM中的可见变量与隐变量之间的相互作用在二维张量网络表示下的对应关系。

关键观点4: 其他相关模型和技术

介绍了与玻尔兹曼学习机相关的其他模型和技术，如自回归模型、张量网络缩并算法等，并讨论了它们的应用和优势。

文章预览

加 星标 ，才能不错过每日推送！方法见文末插图 神经网络是完成机器学习任务的基本模型，其中一类重要的神经网络是玻尔兹曼学习机。它和它的变体是在上世纪八十年代被提出来的，但是经过三十多年的研究，这些模型在表达能力的理解、配分函数的计算和训练深层模型的高效算法等方面仍然发展不完善。近些年，一些物理学家开始用与神经网络具有相似性的张量网络来进行研究，并得到一些有趣的结果。接下来，我们会从玻尔兹曼学习机出发，尝试向读者展示神经网络的二维张量网络表示。当神经网络“变身”为张量网络之后，我们也会随之获得对上述问题的新的理解。 撰文  |  李素洁 （理论物理所2018级在读博士） 1984年，Hinton和Sejnowski等人提出了变量概率分布满足玻尔兹曼分布的学习机，即玻尔兹曼学习机 [1] ，它可以用来拟合高维数 ………………………………