两台苹果跑满血DeepSeek！512G大内存真AI PC来了

文章预览

克雷西 发自 凹非寺 量子位 | 公众号 QbitAI 只要两台苹果Mac Studio，在家就能跑满血DeepSeek R1了？ 一家大模型工作室在推特上宣布，成功用两台搭载512GB M3 Ultra的Mac Studio， 以20token每秒的速度成功运行8bit版R1 。 而且经过一波核算，用M3 Ultra来跑模型， 每GB内存的成本还不到H100的6% 。 这家工作室就是 EXO Labs ，专门研究把大模型放到各种设备上运行。 之前 让MacBook、iPad、手机等设备组成集群跑Llama 405B的分布式推理框架 ，就是这家工作室的手笔。 前面“H100的6%”这一结果，也是由其创始人 Alex Cheema 计算得出，并且这里M3 Ultra算的是整机价格，而H100只是单独一块卡。 有网友评价说，在老黄的衬托下，苹果都显得有性价比了。 而且高达512GB统一内存的这种大显存设定，非常适合跑R1这样的MoE模型。 所以有网友在推特上喊话EXO Lab，表示想看8台Mac Studio联机 ………………………………