三台M1的Mac Mini，等于一个22B模型

文章预览

虽然Claude3.5持续高热度，但是端侧AI或者说本地模型始终是众多程序员的梦想，而且并不满足于就是跑一个7B、8B的模型，毕竟同样的模型，参数规模越大，效果越好，人总是贪心的。 很简单的道理，之前也多次介绍过，模型越大，需要的内存越大（考虑到CPU非常差的推理性能，这里的内存其实只是GPU或者NPU内存，大体上一种是独立显卡的显存，例如英伟达4090的24GB，H100的80GB，另一种是一体化内存，例如苹果Silicon笔记本的最高128GB，Mac Studio的最高192GB）。 所以，除去服务器或者大型工作站使用H100之类的专用卡之外，市售模型推理最好的设备其实一直是苹果的笔记本或者台式机（mac mini，mac studio，iMac或者Mac Pro就先忽略吧）。一台128GB的M3 Max笔记本甚至可以推INT8版本的LlaMa3-70B，对于一台192GB内存的Mac Studio，110B的模型不在话下。虽然Intel或者AMD的下一 ………………………………