寻找机器学习的“热力学”：临界相变如何启发机器学习研究？

文章预览

导语 2024年诺贝尔物理学奖 授予 人工神经网络和机器学习的基础性研究 ，可以说是统计物理引发的机器学习革命。（古老的）统计物理与（年轻的）计算机科学有怎样的相似性？如何用统计物理来帮助理解大语言模型？在 Quanta Magazine 的这篇采访中，瑞士洛桑联邦理工学院（EPFL）计算统计物理实验室的科学家认为，18世纪人们为了理解蒸汽机发展了热力学，如今我们也需要寻找机器学习的“热力学”。 研究领域： 统计物理，理论计算机科学，大语言模型，临界相变 John Pavlus   | 作者 彭晨   | 译者 梁金   | 编辑 捷克科学家 Lenka Zdeborová 青少年时曾在艾萨克·阿西莫夫的小说中瞥见了自己的未来。阿西莫夫《基地》系列小说中的人物发明了一种被称为“心理史学”的数学方法，通过平均数十亿人的随机行为来预测银河帝国的命运和人类的未来。Zdebo ………………………………