电脑平板组AI集群，在家就能跑400B大模型，GitHub狂揽2.5K星

文章预览

↑ 点击 蓝字  关注极市平台 来源丨量子位 极市导读   不用H100，三台苹果电脑就能带动400B大模型。   >> 加入极市CV技术交流群，走在计算机视觉的最前沿 背后的功臣，是GitHub上的一个开源分布式AI推理框架，已经斩获了2.5k星标。 利用这个框架，几分钟就能用iPhone、iPad等日常设备构建出自己的AI算力集群。 这个框架名叫exo，不同于其他的分布式推理框架，它采用了p2p的连接方式，将设备接入网络即可自动加入集群。 开发者使用exo框架连接了两台MacBook Pro和一台Mac Studio，运算速度达到了110TFLOPS。 同时这位开发者表示，已经准备好迎接即将到来的Llama3-405B了。 exo官方也放话称，将在第一时间 （day 0） 提供对Llama3-405B的支持。 而且不只是电脑，exo可以让iPhone、iPad等设备也加入本地算力网络，甚至Apple Watch也同样能够吸纳。 随着版本的迭代，exo框架 ………………………………