深度学习 | Transformer图解

文章预览

前言 transformer是目前NLP甚至是整个深度学习领域不能不提到的框架，同时大部分LLM也是使用其进行训练生成模型，所以transformer几乎是目前每一个机器人开发者或者人工智能开发者不能越过的一个框架。接下来本文将从顶层往下去一步步掀开transformer的面纱。 transformer概述 Transformer模型来自论文Attention Is All You Need。 （https://arxiv.org/abs/1706.03762） 在论文中最初是为了提高机器翻译的效率，它使用了Self-Attention机制和Position Encoding去替代RNN。后来大家发现Self-Attention的效果很好，并且在其它的地方也可以使用Transformer模型。并引出后面的BERT和GPT系列。 大家一般看到的transformer框架如下图所示： transformer模型概览 首先把模型看成一个黑盒，如下图所示，对于机器翻译来说，它的输入是源语言(法语)的句子，输出是目标语言(英语)的句子。 把黑盒子稍微打开 ………………………………