专栏名称: 计算机视觉研究院
主要由来自于大学的研究生组成的团队,本平台从事机器学习与深度学习领域,主要在人脸检测与识别,多目标检测研究方向。本团队想通过计算机视觉战队平台打造属于自己的品牌,让更多相关领域的人了解本团队,结识更多相关领域的朋友,一起来学习,共同进步!
今天看啥  ›  专栏  ›  计算机视觉研究院

快速学会AI核心架构,Transformer!

计算机视觉研究院  · 公众号  ·  · 2024-11-20 10:09

文章预览

大家好,今天从头讲一个人工智能非常核心的架构——Transformer! Transformer模型由 编码器(Encoder) 和 解码器(Decoder) 两部分组成。 其中,编码器和解码器各由 N 个相同的层叠加而成的。 编码器有两个子层。分别是 多头自注意力(multi-head self-attention) 和 基于位置的前馈网络(positionwise feed-forward network) 。 解码器有三个子层。除了多头自注意力和前馈网络外,解码器还在这两个子层之间插入了第三个子层,称为 编码器-解码器注意力(encoder-decoder attention) 层。 这里也分享我整理的 226篇Transformer顶会论文合集 ,包括训练transformer、卷积transformer、VIT等多个细分领域。 扫码即可无偿领取! Transformer架构中的核心概念包括: 自注意力机制(Self-Attention): Transformer模型的核心组成部分,允许模型在处理一个单词时同时考虑句子中的其他单词,从 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览