Nat. Commun.速递：网络属性决定神经网络模型性能

文章预览

导语 机器学习已经渗透到现代社会的方方面面，深刻影响了从AlphaGo到ChatGPT等新兴技术的发展与变革，强劲助推手机、汽车等消费产品的智能化的进程。在机器学习中，人工神经网络模型则扮演着举足轻重的角色。由于神经网络复杂的结构、数量不等的超参数、含有随机扰动的多种数据形式，我们缺乏一个统一的框架形象地揭示其底层的学习机制。 为此，我们基于网络科学的平均场理论，开发出一个简洁的数学框架，将基于梯度下降的神经网络模型学习过程转化为网络动力学模型的演化过程，以此推导出一个基于神经网络的拓扑结构指标。根据这个指标可以以很低的训练成本，有效地预测神经网络模型收敛状态下的预测性能。将其应用到迁移学习，实现神经网络模型的筛选，在17个预训练的ImageNet模型、五个基准数据集、一个NAS基准上的实验结果 ………………………………