网页链接我们很高兴推出 LLM Compressor，这是一个用-20240816084004

文章预览

2024-08-16 08:40 本条微博链接 网页链接 我们很高兴推出 LLM Compressor，这是一个用于压缩 LLM 的库，以便使用 vLLM 进行更快的推理。 我们的团队使用它创建了完全量化的模型，例如 Llama 3.1 405B，恢复了完全准确性并将成本降低了 4 倍。 现在，我们将它贡献给 vLLM 社区！ ………………………………