OpenVINO 2024.3 重磅发布！重点节录

文章预览

点击蓝字 关注我们 OpenVINO Release Notes   2024.3 – 2024年7月 系统要求 | 发布政策 | 安装指南 新功能 更多生成式AI覆盖范围和框架整合，以最小化代码变更。 OpenVINO™预优化模型现已在Hugging Face上提供，使开发人员更容易上手这些模型。 更广泛的大型语言模型(LLM)支持和更多模型压缩技术。 通过添加动态量化、多头注意力(MHA)和OneDNN增强功能，Intel内置和独立GPU上的LLM性能显著提升。 更多可移植性和性能，可在边缘、云端或本地运行AI。 通过在OpenVINO™模型服务器(OVMS)中包含vLLM和连续批处理，提高了服务LLM时的CPU性能。vLLM是一个易于使用的开源库，支持高效的LLM推理和模型服务。 OpenVINO™ 运行时 (OpenVINO™ Runtime) 通用 OpenVINO现在可以作为vLLM的后端使用，由于全连接层优化、多个全连接层(MLP)融合、U8 KV缓存和动态分割融合，提供更好的CPU性能。 以下 ………………………………