大模型承重墙，去掉了就开始摆烂！苹果给出了「超级权重」

文章预览

机器之心报道 编辑：蛋酱、佳琪 去掉一个「超权重」的影响，比去掉其他 7000 个离群值权重加起来还要严重。 大模型的参数量越来越大，越来越聪明，但它们也越来越奇怪了。 两年前，有研究者发现了一些古怪之处：在大模型中，有一小部分特别重要的特征（称之为「超权重」），它们虽然数量不多，但对模型的表现非常重要。 如果去掉这些「超权重」，模型就完全摆烂了，开始胡言乱语，文本都不会生成了。但是如果去掉其他一些不那么重要的特征，模型的表现只会受到一点点影响。 有趣的是，不同的大模型的「超权重」却出奇地相似，比如： 它们总是出现在 层中。 它们会放大输入 token 激活的离群值，这种现象研究者们称之为「超激活」（super activation）。无论输入什么提示词，「超激活」在整个模型中都以完全相同的幅度和位置持续存 ………………………………