【[121星]MoE-Infinity：为MoE模型部署提供低成-20250212214631

文章预览

2025-02-12 21:46 本条微博链接 【[121星]MoE-Infinity：为MoE模型部署提供低成本、高性能的PyTorch库。亮点：1. 专家模块内存卸载，节省90%显存；2. 优化技术加持，推理延迟降低80%；3. 兼容HuggingFace模型，无缝对接主流LLM】 'MoE-Infinity is a cost-effective, fast, and easy-to-use library for Mixture-of-Experts (MoE) inference and serving.' GitHub: github.com/TorchMoE/MoE-Infinity #MoE模型# #高效推理# #HuggingFace兼容# #AI创造营# ………………………………