大模型承重墙，去掉了就开始摆烂！苹果给出了「超级权重」

文章预览

点击蓝字 关注我们 关注并星标 从此不迷路 计算机视觉研究院 公众号ID ｜ 计算机视觉研究院 学习群 ｜ 扫码在主页获取加入方式 论文链接：https://arxiv.org/pdf/2411.07191 论文标题：The Super Weight in Large Language Models 计算机视觉研究院专栏 Column of Computer Vision Institute 去掉一个「超权重」的影响，比去掉其他 7000 个离群值权重加起来还要严重。 大模型的参数量越来越大，越来越聪明，但它们也越来越奇怪了。 两年前，有研究者发现了一些古怪之处：在大模型中，有一小部分特别重要的特征（称之为「超权重」），它们虽然数量不多，但对模型的表现非常重要。 如果去掉这些「超权重」，模型就完全摆烂了，开始胡言乱语，文本都不会生成了。但是如果去掉其他一些不那么重要的特征，模型的表现只会受到一点点影响。 有趣的是，不同的大模型的「超权 ………………………………