电脑平板组AI集群，在家就能跑400B大模型，GitHub狂揽2.5K星​

文章预览

克雷西 发自 凹非寺 量子位 | 公众号 QbitAI 不用H100，三台苹果电脑就能带动400B大模型。 背后的功臣，是GitHub上的一个开源分布式AI推理框架，已经斩获了2.5k星标。 利用这个框架，几分钟就能用iPhone、iPad等日常设备构建出自己的AI算力集群。 这个框架名叫exo，不同于其他的分布式推理框架，它采用了p2p的连接方式，将设备接入网络即可自动加入集群。 开发者使用exo框架连接了两台MacBook Pro和一台Mac Studio，运算速度达到了110TFLOPS。 同时这位开发者表示，已经准备好迎接即将到来的Llama3-405B了。 exo官方也放话称，将在第一时间 （day 0） 提供对Llama3-405B的支持。 而且不只是电脑，exo可以让iPhone、iPad等设备也加入本地算力网络，甚至Apple Watch也同样能够吸纳。 随着版本的迭代，exo框架也不再是苹果限定 （起初只支持MLX） ，有人把安卓手机和4090显卡也 ………………………………