✨微软1位时代论文（2月发布）真是杰作。BitNet b1.58-20240803092943

文章预览

2024-08-03 09:29 本条微博链接 ✨微软1位时代论文（2月发布）真是杰作。 BitNet b1.58 70B 比相应的 FP16 LLaMa 快 4.1 倍，吞吐量高 8.9 倍。 📌矩阵乘法几乎不需要乘法运算，并且可以高度优化。 📌 BitNet b1.58 是一个 1 位 LLM，其中 LLM 的每个单个参数（或权重）都是三元的{-1 ，0, 1}。 他们引入了一个重要的 1 位 LLM 变体，称为 BitNet b1.58，其中每个参数都是三元的，取值为{-1 , 0, 1}。我们在原始的 1 位 BitNet 上添加了一个额外的值 0 ………………………………