【[7.2k星]Intel IPEX-LLM：加速本地大语言模型-20250214142511

文章预览

2025-02-14 14:25 本条微博链接 【[7.2k星]Intel IPEX-LLM：加速本地大语言模型（LLM）推理和微调的神器，让Intel GPU和NPU也能轻松跑LLM！亮点：1. 支持70+种模型，涵盖LLaMA、Mistral、ChatGLM等；2. 提供低比特（FP8/FP6/INT4）加速，性能飞跃；3. 无缝对接HuggingFace、LangChain等热门框架】 'Accelerate local LLM inference and finetuning (LLaMA, Mistral, ChatGLM, Qwen, DeepSeek, Mixtral, Gemma, Phi, MiniCPM, Qwen-VL, MiniCPM-V, etc.) on Intel XPU (e.g., local PC with iGPU and NPU, discrete GP ………………………………