​注意力机制中的掩码详解

文章预览

点击上方 “ 小白学视觉 ”，选择加" 星标 "或“ 置顶 ” 重磅干货，第一时间送达 作者丨Prudhviraju Srivatsavaya 来源丨DeepHub IMBA 编辑丨极市平台 极市导读   注意力机制的掩码允许我们发送不同长度的批次数据一次性的发送到transformer中。在代码中是通过将所有序列填充到相同的长度，然后使用“attention_mask”张量来识别哪些令牌是填充的来做到这一点，本文将详细介绍这个掩码的原理和机制。   我们先介绍下如果不使用掩码，是如何运行的。这里用GPT-2每次使用一个序列来执行推理，因为每次只有一个序列，所以速度很慢:  from transformers import GPT2LMHeadModel, GPT2Tokenizer        tokenizer = GPT2Tokenizer.from\_pretrained\( 'gpt2' \)    gpt2 = GPT2LMHeadModel.from\_pretrained\( 'gpt2' \)        context = tokenizer\( 'It will rain in the' ,  return \_tensors= 'pt' \)        predic ………………………………