只激活3.8B参数，性能比肩同款7B模型！训练微调都能用，来自微软

文章预览

克雷西 发自 凹非寺 量子位 | 公众号 QbitAI 只需激活60%的参数 ，就能实现与全激活稠密模型相当的性能。 微软亚洲研究院的一项新研究，实现了模型的 完全稀疏激活 ，让推理成本大幅下降。 而且适用范围广泛，无论是从头训练、继续训练还是微调，都能提供有效支持。 该方法名为 Q-Sparse ， 在神经元级别上实现了模型稀疏化，相比于其他方式粒度更细，在相同推理开销下，无论性能还是稀疏率都更好。 名称之中，Q指的是量化 （Quantization） ，意味着它除了普通模型之外，也 兼容量化技术 ，适用于各种量化方式的模型。 作者进一步表示，如果把Q-Sparse与模型量化技术结合，还可以实现更大程度的降本增效。 另外在研究Q-Sparse的同时，团队也对参数规模、稀疏率和模型性能三者之间的关系进行了深入探寻，并发现了 适用于模型推理优化的“Scaling ………………………………