文章预览
以下 文 章来源于知乎： 深度眸@知乎 作者： 深度眸 链接： https://zhuanlan.zhihu.com/p/308301901 本文仅用于学术分享，如有侵权，请联系 后 台作删文处理 导读 Transformer整个网络结构完全由Attention机制组成，其出色的性能在多个任务上都取得了非常好的效果。本文从Transformer的结构出发，结合视觉中的成果进行了分析，能够帮助大家快速入门。 0 摘要 transformer结构是google在17年的Attention Is All You Need论文中提出，在NLP的多个任务上取得了非常好的效果，可以说目前NLP发展都离不开transformer。最大特点是抛弃了传统的CNN和RNN，整个网络结构完全是由Attention机制组成。由于其出色性能以及对下游任务的友好性或者说下游任务仅仅微调即可得到不错效果，在计算机视觉领域不断有人尝试将transformer引入，近期也出现了一些效果不错的尝试，典型的如目标检测领域
………………………………
