网页链接微软推出的MInference，将 LLM处理百万上下文-20240714201536

斌叔OKmath · 微博 · · 2024-07-14 20:15

文章预览

2024-07-14 20:15 本条微博链接网页链接微软推出的MInference，将 LLM处理百万上下文时间提速 10 倍！ 1、MInference是一种稀疏计算方法，可以加速长序列处理的预填充 2、可以直接应用于现有的LLM，不需要预训练或额外微调 3、同时在多个基准InfiniteBench、RULER、PG-19、Needle In A Haystack以及LLaMA-3-1M、Yi-200K、GLM-4-1M、Phi-3-128K、Qwen2-128K等不同模型上测试，MInference在A100上实现了10倍的推理速度提升，同时保持了准确性 github：网页链接 ………………………………

原文地址：访问原文地址
快照地址：访问文章快照
总结与预览地址：访问总结与预览

分享到微博

推荐文章

环球科学 · AI搜索人工生命！大模型版生命游戏来了，探索从未见过的生命形式 | 环球科学要闻

12 小时前

每日意图 · 最美和声 | 我们一直在默默地相爱

昨天

每日意图 · 最美和声 | 我们一直在默默地相爱

昨天

科普中国 · 以为是痔疮，结果是肠癌！竟是被这件常见“小事”给耽误了……现在知道还不晚

2 天前

康石石 · 保研人面试的时候，轻轻碎了

3 天前

康石石 · 裸辞国企，我要去伦艺留学啦~

3 天前

纯银V · 就是他！就是这个赶鸡的大爷！这只鸡眼神超自信的，和别的鸡完全不一-20240729090723

5 月前

Livin广州 · 限时4天！免费吸猫撸狗睇鱼，这个宠物展超专业！

3 月前

一带一路金融工程 · EPC合同，中国电建海外连签3单

3 月前