大模型位置编码概览及在图像视频领域应用

文章预览

      本文主要总结了下大模型位置编码，以及位 置编码在图像/视频上的应用及变种。 一、    为什么要有位置编码？ 由于attention的设计，计算的是token的矩阵乘法，矩阵元素之间除了相似关系没有其他联系，所以网络感知不到token的位置关系，也就是说只要是同一批token，任何顺序输入网络，输出结果都是一样的。但是在自然语言中文本的顺序是很重要的。 于是需要引入位置关系，让模型能够感知到token的顺序。 二、位置编码的基础特性？ 1.绝对唯一性: 即每个Token在序列的绝对位置输出唯一的编码。（体现同一个token在不同位置的区别） 2.不同相对性：在任何长度不同的序列中，不同位置的Token之间的相对位置/距离保持一致。（体现Token位置之间差异的不变性） 3.外推有界值：这套编码方式很容易推广到未见过的长句，因此其值域应有上界。 ………………………………