13瓦功耗处理10亿参数，接近大脑效率，消除LLM中的矩阵乘法来颠覆AI现状

文章预览

将 ScienceAI   设为 星标 第一时间掌握 新鲜的 AI for Science 资讯 编辑 | 萝卜皮 通常，矩阵乘法 (MatMul) 在大型语言模型（LLM）总体计算成本中占据主导地位。随着 LLM 扩展到更大的嵌入维度和上下文长度，这方面的成本只会增加。 加州大学、LuxiTech 和苏州大学的研究人员声称开发出一种新方法， 通过消除过程中的矩阵乘法来更有效地运行人工智能语言模型。这从根本上重新设计了目前由 GPU 芯片加速的神经网络操作方式。 研究人员描述了如何 在不使用 MatMul 的情况下创建一个自定义的 27 亿参数模型，性能与当前最先进的 Transformer 模型相当。 该研究以「 Scalable MatMul-free Language Modeling 」为题，于 2024 年 6 月 4 日发布在 arXiv 预印平台。 矩阵乘法是当今大多数神经网络计算任务的核心，而 GPU 特别擅长快速执行数学运算，因为它们可以并行执行大量乘 ………………………………