【动手学轨迹预测】2.6 预测编码模块中的Transformer

文章预览

自从Transformer横空出世, 预测网络也大量应用了注意力机制多头机制, 效果提升非常显著. 本节将介绍它们在轨迹预测网络中的应用. 2.6.1 Self-Attention和Cross-Attention Self-Attention是一种用于处理序列数据的机制，它允许模型在处理序列数据时，对序列中不同位置的元素进行加权聚合，从而更好地捕捉元素之间的依赖关系和全局信息。 相较于传统的RNN,CNN,  Self-Attention展现出了更强大的长期依赖关系捕捉能力和全局观察能力. 输入序列自身作为query, key和value放入attention模块中, 供自身查询自身的注意力值. Cross-Attention是一种在两个不同输入序列之间建立关联并计算注意力权重的机制。它扩展了Self-Attention的思想，通过引入额外的输入序列来丰富注意力机制。被查询的序列作为key和value送如注意力网络, 查询的序列作为query与key, value序列交互得到权重矩阵. 2.6.1.1 a ………………………………