注册
登录
专栏名称:
量子位
վ'ᴗ' ի 追踪AI行业和技术动态,这里更快一步!关注我们,回复“今天”,更多大新闻等你来发现
我也要提交微信公众号
今天看啥
微信公众号rss订阅, 微信rss, 稳定的RSS源
微信公众号RSS订阅方法
B站投稿RSS订阅方法
雪球动态RSS订阅方法
微博RSS订阅方法
微博搜索关键词订阅方法
豆瓣日记 RSS订阅方法
目录
相关文章推荐
黄建同学
·
Github ...
·
2 天前
爱可可-爱生活
·
【视频生成神器:victorchall/ge ...
·
2 天前
机器之心
·
全自动打工「人」!波士顿动力Atlas进厂视 ...
·
2 天前
宝玉xp
·
GitHub Copilot ...
·
4 天前
爱可可-爱生活
·
//@爱可可-爱生活:欢迎参与~-20241 ...
·
5 天前
今天看啥
›
专栏
›
量子位
院士领衔推出大模型的第3种记忆:比参数存储和RAG都便宜,2.4B模型越级打13B
量子位
·
公众号
·
AI
· 2024-07-08 17:55
文章预览
梦晨 发自 凹非寺 量子位 | 公众号 QbitAI 给大模型加上第三种记忆格式,把宝贵的参数从死记硬背知识中解放出来! 中科院院士 鄂维南 领衔, 上海算法创新研究院 等团队推出Memory 3 ,比在参数中存储知识以及RAG成本都更低,同时保持比RAG更高的解码速度。 在实验中,仅有2.4B参数的Memory 3 模型不仅打败了许多7B-13B的模型,在专业领域任务如医学上的表现也超过了传统的RAG方法,同时推理速度更快,“幻觉”问题也更少。 目前相关论文已上传到arXiv,并引起学术界关注。 知识按使用频率分类 这一方法受人脑记忆原理启发,独立于存储在模型参数中的隐性知识和推理时的短期工作工作记忆,给大模型添加了显式记忆。 具体来说,人类的记忆大致可以分为三部分: 显式记忆: 可以主动回忆的长期记忆,比如读过的文章。获取显式记忆很容易,但提取 ………………………………
原文地址:
访问原文地址
快照地址:
访问文章快照
总结与预览地址:
访问总结与预览
分享到微博
推荐文章
黄建同学
·
Github Copilot支持Claude 3.5 Sonne-20241031171407
2 天前
爱可可-爱生活
·
【视频生成神器:victorchall/genmoai-smol-20241031140423
2 天前
机器之心
·
全自动打工「人」!波士顿动力Atlas进厂视频火了,不断电不下班
2 天前
宝玉xp
·
GitHub Copilot 现在可以同时支持 ChatGPT、-20241030004536
4 天前
爱可可-爱生活
·
//@爱可可-爱生活:欢迎参与~-20241028055547
5 天前
医学界肿瘤频道
·
NeoCOAST-2研究结果亮相2024WCLC,带领NSCLC围术期治疗进入新时代
1 月前