今天试了一下在我的一台3060显卡（12G显存）的机器上跑一些8-20240811155507

斌叔OKmath · 微博 · · 2024-08-11 15:55

文章预览

2024-08-11 15:55 本条微博链接今天试了一下在我的一台3060显卡（12G显存）的机器上跑一些8b左右的模型，速度飞快啊。所以如果用户量不大的话，完全可以用很多消费级显卡做推理，机器嘛放办公室就行了，多放几个地方，做一下负载均衡。真的超省钱。 ………………………………

原文地址：访问原文地址
快照地址：访问文章快照
总结与预览地址：访问总结与预览

分享到微博

推荐文章

何夕 · 最后四分钟：沪深双创，集体跳水。 -20241122113821

2 天前

调研心得 · 外资！大溃败！

2 天前

每天发现一家店 · 12 个不会融化的雪花！

3 天前

何夕 · 不要觉得我说“A股绝大多数上市公司都是财务造假的垃圾/公墓偏股基-20241121135730

3 天前

调研心得 · 离谱！真的太离谱了！

4 天前

中国社会科学网 · 穿梭→前海、横琴、海南、浦东、雄安……

4 月前

电影截图录 · 离婚后，前夫哭着来求复合。彼时她正在悠哉度假，左边小鲜肉右边帅大-20240909191352

2 月前