Sakana AI推出LLM记忆管理技术NAMMs，可将内存成本降低75%

文章预览

记忆是认知的关键组成部分，让人类能够从充斥我们生活的无尽噪音中选择性存储和提取重要信息。相比之下，大语言模型（Large Language Model，LLM）则缺乏这种能力，只能无差别地存储和处理所有过去的输入，这在长时间任务中对它们的性能和成本产生了严重影响。 就像人类大脑会选择性地保留重要信息并逐渐淡忘不重要的细节一样，人工智能系统也需要这样的智能记忆管理机制。否则，随着模型规模的不断扩大，其训练和部署对计算资源和内存的需求也会无限上升。 长期以来，研究人员一直在探索如何让 AI 系统具备更接近人类的记忆能力。传统的解决方案主要依赖预设的规则来管理模型的记忆，比如基于时间顺序或注意力分数（Attention Score）来选择性地保留或丢弃信息。 然而，这些方法往往过于机械，无法像人类记忆那样智能地区分信息的重 ………………………………