ggml 简介

文章预览

ggml 是一个用 C 和 C++ 编写、专注于 Transformer 架构模型推理的机器学习库。该项目完全开源，处于活跃的开发阶段，开发社区也在不断壮大。ggml 和 PyTorch、TensorFlow 等机器学习库比较相似，但由于目前处于开发的早期阶段，一些底层设计仍在不断改进中。 ggml https://github.com/ggerganov/ggml 相比于 llama.cpp 和 whisper.cpp 等项目，ggml 也在一直不断广泛普及。为了实现端侧大语言模型推理，包括 ollama 、 jan 、 LM Studio 等很多项目内部都使用了 ggml。 llama.cpp https://github.com/ggerganov/llama.cpp whisper.cpp https://github.com/ggerganov/whisper.cpp ollama https://github.com/ollama/ollama jan https://github.com/janhq/jan LM Studio https://github.com/lmstudio-ai 相比于其它库，ggml 有以下优势: 最小化实现 : 核心库独立，仅包含 5 个文件。如果你想加入 GPU 支持，你可以自行加入相关实现，这不是必选的。 编译简 ………………………………