太酷了！iPhone、iPad、MacBook老旧设备组成异构集群，能跑Llama 3

文章预览

假如你有闲置的设备，或许可以试一试。 这次，你手里的硬件设备也能在 AI 领域大展拳脚了。 将 iPhone、iPad、Macbook 进行组合，就能组装成「异构集群推理方案」， 然后顺畅的运行 Llama3 模型。 值得一提的是，这个异构集群可以是 Windows 系统，也可以是Linux、iOS 系统，并且对 Android 的支持很快到来。 异构集群正在运行中。 根据项目作者 @evilsocket 的介绍，这个异构集群包括 iPhone 15 Pro Max、iPad Pro、MacBook Pro (M1 Max)、NVIDIA GeForce 3080、2x NVIDIA Titan X Pascal。所有代码都已经上传到 GitHub。 看到这，网友纷纷表示，这位老哥确实不简单。 不过也有网友开始担心能耗问题，暂且不管速度，电费都耗不起。来回搬数据，损耗太大了。 项目介绍 上述功能的实现，离不开一个名为 Cake 的 Rust 框架。Cake 可以完成大模型（例如 Llama3）的分布式推理，旨在将消费级硬 ………………………………