文章预览
Apple如约发布了M4的Mac Mini，足够小的体积，更好的散热。关键是顶配版本有64GB一体化内存，3个雷电5接口（120Gb/S）。 虽然Apple Intelligence还需要时间来打磨，但是毫无疑问，新版Mac Mini就是当下最佳的模型推理设备，没有之一。 一台Mac Mini可以跑一个量化版（最高6bit）的LlaMA-3.2-70B模型。三台互联，可以轻松跑一个16bit版本的70B模型。而且因为雷电5相比雷电4，速度足足提高了两倍（从40Gb/S到120Gb/S），推理性能会大幅提高。 我当然还不可能进行设备的测试，我也不想去介绍更多这款产品的细节，这是那些无脑搬运自媒体们做的事情。我只负责基于逻辑、实践的推理和实测。几个月前，我写过一篇把三个mac mini互联在一起跑模型的详细文章。话不多说，附于后面。 最后补一个强调了一年的观点：Apple是目前AI落地过程中竞争位置最好，想象力最大的。
………………………………
