拉格朗日成本下的神经最优传输

文章预览

Wasserstein距离将一统天下 在” 漂亮国的核潜艇与深度学习的内卷 “一文中，笔者总结过：玻尔兹曼机践行了重整化群的思想，事实上，在神经网络中引入隐含节点就是尺度重整化。每一次尺度变换后，自由能保持不变。F =-lnZ,  这里Z是配分函数，是一个能量（不同能级上粒子数）的概率分布，Z不变，即能量的概率分布不变。重整化群给出了损失函数，也就是不同层的F自由能的差异，或者说两个能量概率分布的“距离”， 训练就是来最小化这个距离。 这里的距离就是有望实现统一距离度量的“Wasserstein距离”，是由最优输运（OT: Optimal Transport）定义的距离： 故事从18世纪末路易十六统治下的法国讲起，蒙日是当时最杰出的科学家，他在研究如何以最小的成本把农场生产的牛奶分配给工厂的奶酪工匠们的高深问题。这个看似简单的问题就是著名的 ………………………………