专栏名称: AI工程化
专注于AI领域(大模型、MLOPS/LLMOPS 、AI应用开发、AI infra)前沿产品技术信息和实践经验分享。
今天看啥  ›  专栏  ›  AI工程化

Ollama 平台新功能:轻松运行 Hugging Face Hub 上的 GGUF 模型

AI工程化  · 公众号  ·  · 2024-10-17 07:13

文章预览

AI 领域又有大动作!Ollama 平台推出新功能,让你轻松运行 Hugging Face Hub 上的 GGUF 模型。 这一新功能不仅简化了模型部署流程,还为 AI 社区带来了极大的便利。想象一下,只需一行命令,你就能直接在 Ollama 平台上运行强大的 GGUF 模型,操作极为简便! 具体怎么操作呢? ollama run hf.co /{username}/ {reponame}:latest 比如,你想运行 Llama 3.2 1B 模型,只需这样: ollama run hf .co / bartowski / Llama-3 .2-1B-Instruct-GGUF :latest 如果你对量化类型有特别要求,也只需指定一下 Quant 类型: ollama run hf .co / bartowski / Llama-3 .2-1B-Instruct-GGUF :Q8_0 这一功能极大简化了模型部署流程,用户反馈如“简直是救星!”、“再也不用繁琐的部署步骤了!”社区的小伙伴们简直炸开了锅! Quinn Slack   大呼:“Awesome! 这将让一切变得如此简单。” Mitko Vasilev   提到性能问题:“Ollama 还得在 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览