魔搭社区利用 NVIDIA TensorRT-LLM 加速开源大语言模型推理

文章预览

“魔搭社区是中国最大的模型开源社区，致力给开发者提供模型即服务的体验。 魔搭社区利用 NVIDIA TensorRT-LLM，大大提高了大语言模型的推理性能，方便了模型应用部署，提高了大模型产业应用效率，更大规模地释放大模型的应用价值。” 周文猛，魔搭社区技术负责人，阿里巴巴通义实验室技术总监 魔搭上线 TensorRT-LLM，支持开源LLM模型推理加速 魔搭社区于 2022 年 11 月初创建，首次在业界提出了 “模型即服务”（ MaaS, Model as a Service）的理念。在过去一年半的时间里，MaaS 这一理念不仅实现了技术落地，也被行业广泛接纳，并成为与 IaaS、SaaS、PaaS 服务的又一新的技术范式。  2023 年 7 月，Meta 宣布开源 Llama 2 模型，改变了整个大语言模型（LLM）行业的竞争格局。通过繁荣的开源生态，大语言模型迎来了群策群力的技术迭代和突破。 国内外优秀的 ………………………………