注意力机制是如何学习到模型所应注意的区域的？

文章预览

点击上方 “ 小白学视觉 ”，选择加" 星标 "或“ 置顶 ” 重磅干货，第一时间送达 简单来说，注意力机制在没有标注的数据集中，仅凭着模型本身去学习所应注意的区域，这种方法的准确性靠谱吗？ 作者：知乎用户 https://www.zhihu.com/question/444712435/answer/1755066079 我打算从一个非常 toy 的模型说明为何跑着跑着，会出现区域集中 先考虑一个玩具模型 考虑样本  ，权重   ，以及均值为零的噪声   ，我们的 toy model 如下： 要证明的是，w 每个分量大小，反比于    每个分量的方差。 用人话来说，就是越不确定的地方，权重会越小，越确定的地方，权重越大，符合基本的直觉。 证明不难，把平方展开稍微计算一下： 最后一项平均以后为零，只有第二项那个保留，相当于有个 l2 的约束，方差越大，w 的约束越大。岭回归求解可以知道 w 的最优解是反比 ………………………………