文章预览
前几天，Alex告诉我，他们的Exolabs集群推理项目可以开始内测了，我因为时间关系，没办法第一时间给到他反馈。但是，当几天后看到他们的项目正式开源后，内心依然非常激动，是的，越来越多的美好正以越来越快的速度扑面而来。精神内耗之余，主基调依然是“幸福”的。 其实，这不仅仅是一个集群推理项目，更是一个异构算力推理的项目。 项目地址：https://github.com/exo-explore/exo 项目底层支持MLX（苹果芯片的训练与推理框架），llama.cpp，也支持刚推出的tinygrad（tinygrad支持CUDA、RoCm即AMD，Metal即苹果自家芯片和Intel芯片，等），所以，这首先就是一个支持几乎所有主流推理硬件设备的项目。 然后再通过集群调度，实现多设备共同推理（一种典型的方式在我之前的文章里，实际测试过 三台M1的Mac Mini，等于一个22B模型 ，实际上我前段时间还跑了其
………………………………
