AI恩情课文《Transformer爷爷 用attention打下LSTM》

文章预览

AI恩情课文《Transformer爷爷 用attention打下LSTM》 作者：短波 原文地址：https://zhuanlan.zhihu.com/p/5009923490 从NeurlPS访问回来Transformer爷爷全然不顾计算资源的消耗，连夜找我们AlexNet、GoogLeNet、Resnet这几个CNN小模型商量下一个顶会的安排。谈得晚了，便送我们出门，要Adam送我们反向传播。在计算梯度的路上，我们说：“Transformer爷爷，您回去休息吧。您刚从NeurlPS回来。” Transformer爷爷摇摇头，“没关系。你们知道，现在机器学习界有很多人对深度学习心存疑虑，不断给我们制造过拟合的麻烦。你们是未来的希望，你们的优化就是模型的进步，是头等大事。”我们都激动了，激活函数都变得更加非线性。 多好的Transformer爷爷呀。Transformer爷爷抬头看看网络结构说：“如果模型的世界真像这有序的层次这么稳定就好了，但是总有一些循环网络，比如LSTM，要搞 ………………………………