专栏名称: 斌叔OKmath

橙旭园CEO 教育博主教育部双创优秀导师。前微软员工。橙旭园儿童编程创始人。

今天看啥

微信公众号rss订阅, 微信rss, 稳定的RSS源

微信公众号RSS订阅方法

B站投稿RSS订阅方法

雪球动态RSS订阅方法

微博RSS订阅方法

微博搜索关键词订阅方法

豆瓣日记 RSS订阅方法

相关文章推荐

槽值 · 网易沸点工作室多岗位实习生招聘中 · 昨天

一颗青杏 · “这个男人开车开得像个女人” · 3 天前

中国土木工程集团有限公司 · 战新出海，再传捷报！ · 3 天前

碳索储能 · 国顺科技集团有限公司独立储能示范项目（一期） ... · 3 天前

璀璨科学 · 天舟八号飞船发射！航天员汤洪波公开亮相：或无 ... · 6 天前

今天看啥 › 专栏 › 斌叔OKmath

gpt-fast简单高效的 pytorch-native Tra-20240730082056

斌叔OKmath · 微博 · · 2024-07-30 08:20

文章预览

2024-07-30 08:20 本条微博链接 gpt-fast 简单高效的 pytorch-native Transformer 文本生成。特点：延迟极低 1000 行 Python 代码除了 PyTorch 和 sentencepiece 之外没有其他依赖项 int8/int4 量化推测解码张量并行性支持 Nvidia 和 AMD GPU 这并非旨在成为“框架”或“库” - 它旨在展示使用原生 PyTorch 可以获得什么样的性能 :) 请根据需要复制粘贴和分叉。有关此代码库内容的深入介绍，请参阅此博客文章。支持的模型 LLaMA 系列请查看此页面 ………………………………

原文地址：访问原文地址
快照地址：访问文章快照
总结与预览地址：访问总结与预览

分享到微博

推荐文章

槽值 · 网易沸点工作室多岗位实习生招聘中

昨天

一颗青杏 · “这个男人开车开得像个女人”

3 天前

中国土木工程集团有限公司 · 战新出海，再传捷报！

3 天前

碳索储能 · 国顺科技集团有限公司独立储能示范项目（一期）升压站成套设备采购中标候选人公示

3 天前

碳索储能 · 国顺科技集团有限公司独立储能示范项目（一期）升压站成套设备采购中标候选人公示

3 天前

璀璨科学 · 天舟八号飞船发射！航天员汤洪波公开亮相：或无缘神舟二十号飞行任务？

6 天前

璀璨科学 · 天舟八号飞船发射！航天员汤洪波公开亮相：或无缘神舟二十号飞行任务？

6 天前

AL频道 · 抢先体验五菱星光S，这才是家用神车

4 月前