关于 Transformers 的一个常见误解是认为它们是一种序-20241017165535

文章预览

2024-10-17 16:55 本条微博链接 关于 Transformers 的一个常见误解是认为它们是一种序列处理架构。但事实并非如此。 它们是一种 *集合处理* 架构。Transformer 100% 与顺序无关（与 RNN 相比，这是一大创新，早在 2016 年末--您就计算成对标记交互的完整矩阵，而不是一次处理一个标记）。 在 Transformer 中添加顺序感知的方式是在 *功能* 级别。您实际上是在标记嵌入中添加与其在序列中的位置相对应的位置嵌入/编码。架构本身只是将 ………………………………