Petals - 像BT一样的分布式LLM推理。简单说，你分享你-20240825175028

斌叔OKmath · 微博 · · 2024-08-25 17:50

文章预览

2024-08-25 17:50 本条微博链接 Petals - 像BT一样的分布式LLM推理。简单说，你分享你自己的GPU，同时使用别人的GPU去跑一个非常大的模型，比如Llama3.1 400B，速度大概几个token/s。网页链接 ………………………………

原文地址：访问原文地址
快照地址：访问文章快照
总结与预览地址：访问总结与预览

分享到微博

推荐文章

爱否科技 · 爱否回收史上最强大促，邀请好友助力，高价回收不是梦

4 天前

爱否科技 · 华为 Pura 80 Pro 配置再曝，国产 1 英寸主摄方案加持

4 天前

X-MOL资讯 · Science：有光明还要有黑暗，3D打印水凝胶才能更弹

5 月前

躺平指数 · 特斯拉暴跌：不止是一场失败的发布会

4 月前

生态修复网 · 【行业观察】欧阳志云：一些国家公园候选区已基本完成创建任务

2 月前