文章预览
今天,我们将深入探讨长短期记忆(LSTM)网络,它普通循 环神经网络(RNN)的一种升级。 RNN在保留长距离信息方面存在困难,这导致了短期记忆问题。 而LSTM正是为解决这一问题而诞生的,LSTM保留了RNN的循环特性,但加入了一些巧妙的改进。 为了方便大家学习,我给大家准备了神经网络和时间序列相关学习资料, 大家可以添加小助手获取(长按二维码图片添加既可),记得发送文章标题截图给小助手哦! 那么,让我们看看LSTM是如何实现这一点的。 首先,让我们回顾一下RNN之前是如何工作的。 我们有一个神经网络,它接收输入x,包含一个隐藏层,该隐藏层由一个使用tanh激活函数的神经元组成,以及一个使用sigmoid激活函数的输出神经元。 因此,RNN的第一步看起来是这样的: 术语解释:我们将每一步称为一个隐藏状态,所以,上面的描述就是RNN的
………………………………