专栏名称: newtype AI
分享关于AI的Why和How。
今天看啥  ›  专栏  ›  newtype AI

Mac跑大模型,首选LM Studio

newtype AI  · 公众号  ·  · 2024-10-27 19:35
    

文章预览

视频号:黄益贺 YouTube / Medium: huangyihe 以下为视频内容的文字版 如果你用的是M系列芯片的苹果电脑,想要在机子上跑大模型,那么我强烈推荐你用LM Studio。因为它支持专门为M系列芯片优化过的模型文件,运行速度快了不止一点。 我用手里这台M2芯片的Macbook Air做了一个简单的对比。同一款大模型,同样的需求,左边是优化版,右边是咱们之前常用的GGUF版。肉眼可见,左边的速度快多了。从每秒token生成的速度来看,优化版的模型快了一倍。 哈喽大家好,欢迎来到我的频道。谦虚地说,我是国内少数几个能把关于AI的Why和How讲明白的博主。记得点一波关注,只要有一个视频你看进去了,就赚大了。如果想链接我,就来newtype社群。已经有500多位小伙伴付费加入啦! 回到今天的主题:LM Studio。 在本地运行大模型的工具中,LM Studio和Ollama是最受欢迎的两 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览