【广发金工】神经常微分方程与液态神经网络

文章预览

广发证券首席金工分析师 安宁宁 anningning@gf.com.cn 广发证券资深金工分析师 陈原文 chenyuanwen@gf.com.cn 联系人：广发证券金工研究员 林涛 gflintao@gf.com.cn 广发金工安宁宁陈原文团队 摘要 神经常微分方程： 在机器学习国际顶会NeurIPS 2018上，Chen等人发表的论文《Neural Ordinary Differential Equations》获得了大会的最佳论文奖。简单来说，一个常见的ResNet网络通常由多个形如h_{t+1}=f(h_t,𝜃_t)+h_t的残差结构所组成。在常规求解中，需计算出每一个残差结构中最能拟合训练数据的网络参数。而该论文提出，假设当ResNet网络中的残差结构无限堆叠时，则每一个残差结构的参数都可以通过求解同一个常微分方程来获得。 液态神经网络： 基于上述工作，来自麻省理工学院的Ramin Hasani等人，创新性地以常微分方程的形式描述循环神经网络的隐藏状态变化，提出了一类被称 ………………………………