来自@GoogleDeepMind、 @Intel和@Georg-20240822080504

文章预览

2024-08-22 08:05 本条微博链接 来自 @GoogleDeepMind 、 @Intel和 @GeorgiaTech的 Wild Paper 无需乘法的 LLM 训练 - 将 OPT-66B 和 LLaMA-2-70B 模型的内存使用量减少 80% 以上。 问题🔍 ： 现有的 LLM 效率方法仍然依赖于昂贵的乘法，而重新参数化技术通常需要重新训练或大量微调。 本文的解决方案🛠️ ： - ShiftAddLLM 为 LLM 引入了训练后移位和添加重新参数化。 - 重新参数化：用两个更简单的运算代替乘法： 👉移位：例如将小数点向左或向 ………………………………