费米玻色机及其统计力学分析丨周一分享·AI by Complexity读书会

文章预览

导语 2024年诺贝尔物理学奖引发大家对Physics for AI的关注，中山大学黄海平教授发起的PMI Lab，长期从统计物理角度关注神经计算的理论基础，并且在2022年出版了《神经网络的统计力学》书籍，帮助学习统计力学的基本原理及其在理解神经网络内部工作原理的应用。本期我们邀请了PMI Lab成员谢明山来分享他们在今年9月新发表的工作，关于费米波色机背后的研究问题、背景、基本思想、框架和实验设计与结果。 内容简介 与人类认知处理不同，通过反向传播训练的深度神经网络容易受到对抗样本的欺骗。为了设计一种语义上有意义的表示学习方法，我们放弃了反向传播，而提出了一种局部对比学习，其中具有相同标签的输入在隐层中的表示相互靠近（类似于玻色子），而不同标签的表示则相互排斥（类似于费米子）。这种逐层学习本质上是局部的，符 ………………………………