NeurIPS'24｜推理计算量减小10倍!MemoryFormer：华为提出存储代替计算的Transformer新架构

文章预览

↑ 点击 蓝字  关注极市平台 作者丨 王云鹤 来源丨https://zhuanlan.zhihu.com/p/9264019510 编辑丨极市平台 极市导读   本文 介绍了MemoryFormer，一种新型的Transformer模型，它通过使用存储空间来替代传统的全连接层，显著降低了推理时的计算复杂度。MemoryFormer利用哈希算法和局部敏感哈希索引方法，在保持模型性能的同时，减少了模型的计算量，为大模型的高效推理提供了新的解决方案。   >> 加入极市CV技术交流群，走在计算机视觉的最前沿 论文链接： https://arxiv.org/abs/2411.12992 引言 在大模型快速发展的今天，深度学习模型的规模不断增大。然而，随着模型规模的提升，对于计算资源的消耗也随之剧增，这使得模型的部署和推理面临巨大挑战。近期，一篇来自北京大学和华为的研究人员共同合作的论文提出了一种创新性的方法—— MemoryFormer ，通过巧妙地利 ………………………………