专栏名称: SegmentFault思否
SegmentFault (www.sf.gg)开发者社区,是中国年轻开发者喜爱的极客社区,我们为开发者提供最纯粹的技术交流和分享平台。
今天看啥  ›  专栏  ›  SegmentFault思否

院士领衔推出大模型的第3种记忆:比参数存储和RAG都便宜,2.4B模型越级打13B

SegmentFault思否  · 公众号  · 程序员  · 2024-07-09 17:00

文章预览

梦晨 发自 凹非寺 量子位 | 公众号 QbitAI 给大模型加上第三种记忆格式,把宝贵的参数从死记硬背知识中解放出来! 中科院院士 鄂维南 领衔, 上海算法创新研究院 等团队推出Memory3,比在参数中存储知识以及RAG成本都更低,同时保持比RAG更高的解码速度。 在实验中,仅有2.4B参数的Memory3模型不仅打败了许多7B-13B的模型,在专业领域任务如医学上的表现也超过了传统的RAG方法,同时推理速度更快,“幻觉”问题也更少。 目前相关论文已上传到arXiv,并引起学术界关注。 知识按使用频率分类 这一方法受人脑记忆原理启发,独立于存储在模型参数中的隐性知识和推理时的短期工作工作记忆,给大模型添加了显式记忆。 具体来说,人类的记忆大致可以分为三部分: 显式记忆: 可以主动回忆的长期记忆,比如读过的文章。获取显式记忆很容易,但提取时 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览