注册    登录
专栏名称: 宝玉xp
前微软Asp.Net最有价值专家 互联网科技博主 我是宝玉。
今天看啥
微信公众号rss订阅, 微信rss, 稳定的RSS源
目录
今天看啥  ›  专栏  ›  宝玉xp

有网友用 2 台 MacBook Pro 128GB 分布式运行-20240724135325

宝玉xp  · 微博  · AI  · 2024-07-24 13:53
    

文章预览

2024-07-24 13:53 本条微博链接 有网友用 2 台 MacBook Pro 128GB 分布式运行了刚发布的 Llama 3.1 405B，以 4 位进行量化。大家关心的每秒多少 Token 没有公布，但看起来比较慢。 使用的 Exo Labs（github.com/exo-explore/exo） 进行分布式机器学习推理 使用 Apple 开源的机器学习库 MLX 作为推理引擎 使用 TinyChat UI 界面 网页链接 也有网友用 NVIDIA 4090 本地跑了，半小时才回了一个 “The” 😂 网页链接 ………………………………

原文地址：访问原文地址
快照地址： 访问文章快照
总结与预览地址：访问总结与预览
推荐文章
爱可可-爱生活  ·  这篇论文提出了一种名为CoLoR的创新压缩模型，通过在训练过程中-20241226060250
17 小时前
爱可可-爱生活  ·  今日推介(第1631期)：用显性工作记忆改善事实性、基于互信息界-20241226061010
17 小时前
黄建同学  ·  CAP4D：一种使用可变形多视图扩散模型从任意数量的参考图像（即-20241225155736
昨天
爱可可-爱生活  ·  FineMath：精心打造的数学教育内容数据集。包含了两个版本:-20241225120516
昨天
机器之心  ·  两位数学家发现素数计数新方法，原来「p²+nq²」形式的素数真有无限多个
4 天前
儿童教育视频  ·  【全195集】六年级数学苏教版 上下册 小学数学 动画数学趣味课
5 月前
针灸匠张宝旬  ·  //@钦煜11:感谢宝藏医生，前两天少商放血，紫苏叶生姜水，黑豆-20240907114540
3 月前
关于   移动版   ·   Py中国   ·   RSS之家   ·   CodingPro   ·   Code   ·   Link之家   ·   卧龙AI搜索   ·   小百科   ·   51好读   ·   小百科（海外）   ·   Link管理
今天看啥 - 微信公众号rss订阅, 微信rss, 稳定的RSS源
© 2024 ~ 沪ICP备11025650号