专栏名称: 斌叔OKmath
橙旭园CEO 教育博主 教育部双创优秀导师。前微软员工。橙旭园儿童编程创始人。
今天看啥  ›  专栏  ›  斌叔OKmath

单个 3090 可以为数千名用户提供 Llama 3 服务🫡B-20240817101509

斌叔OKmath  · 微博  ·  · 2024-08-17 10:15

文章预览

2024-08-17 10:15 本条微博链接 单个 3090 可以为数千名用户提供 Llama 3 服务🫡 Backprop 的博客称 - 在他们的 1x RTX 3090 实例上对 Llama 3.1 8B (fp16) 进行基准测试表明,它可以在 100 多个并发请求下实现每秒合理的令牌,从而支持拥有数千名用户的应用程序。 backprop.co/environments/vllm ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览