GIF | 超生动图解长短记忆神经网络

文章预览

转 载自：量子位   towardsdatascience AI识别你的语音、回答你的问题、帮你翻译外语，都离不开一种特殊的循环神经网络（RNN）：长短期记忆网络（Long short-term memory，LSTM）。 最近，国外有一份关于 LSTM 及其变种 GRU （Gated Recurrent Unit）的图解教程非常火。教程先介绍了这两种网络的基础知识，然后解释了让LSTM和GRU具有良好性能的内在机制。当然，通过这篇文章，还可以了解这两种网络的一些背景。 图解教程的作者Michael Nguyen是一名AI语音助理方面的机器学习工程师。 下面，跟着量子位一起来 学习一下~ 短期记忆问题 RNN受限于短期记忆问题。如果一个序列足够长，那它们很难把信息从较早的时间步传输到后面的时间步。因此，如果你尝试处理一段文本来进行预测，RNN可能在开始时就会遗漏重要信息。 在反向传播过程中，RNN中存在梯度消失问题。梯度 ………………………………