开发者新闻 | NVIDIA 与 Hugging Face 合作简化生成式 AI 模型部署

文章预览

NVIDIA 与 Hugging Face 合作简化生成式 AI 模型部署   随着生成式 AI 的快速增长，社区已经开始以两种重要的方式促进这种扩展:快速发布最先进的基础模型，并简化它们与应用程序开发和生产的集成。 NVIDIA 正在通过优化基础模型来提高性能，帮助企业更快地生成令牌，降低运行模型的成本，并改善使用 NVIDIA NIM 的最终用户体验。  NVIDIA NIM  NVIDIA NIM 推理微服务旨在简化和加速生成式 AI 模型在 NVIDIA 加速基础设施中的部署，包括云、数据中心和工作站。 NIM 利用 TensorRT-LLM 推理优化引擎、行业标准 API 和预构建容器来提供随需求扩展的低延迟、高吞吐量 AI 推理。它支持广泛的 LLM，包括Llama 3、Mixtral 8x22B、Phi-3 和 Gemma，以及针对语音、图像、视频、医疗保健等特定领域应用程序的优化。 NIM 提供了卓越的吞吐量，使企业能够以高达5倍的速度生成令牌。对于 ………………………………