OpenVINO2024.2 发布，大模型部署只要三行代码

文章预览

点击上方 蓝字 关注我们 微信公众号： OpenCV学堂 关注获取更多计算机视觉与深度学习知识 OpenVINO2024.2 OpenVINO2024.2版本跟之前版本最大的不同是OpenVINO2024.2分为两个安装包分别是基础包与生成式AI支持包，新发布的GenAI开发包支持C++与Python语言接口调用，支持多种LLM加载与推理部署能力，实现了OpenVINO对CNN网络、生成式模型、LLM网络主流模型的全面推理支持。安装包下载地址如下： https: //docs.openvino.ai/install 生成式AI支持 OpenVINO2024版本支持大量文本、图像、音频生成模型，如 Llama 2、MPT、OPT、Stable Diffusion、Stable Diffusion XL。这样可以开发多模式应用程序，从而实现一次写入、随处部署的功能。OpenVINO支持的生成式AI方式主要包括以下三种方式分别是： Hugging Face： 通过 Optimum Intel 扩展，使用 OpenVINO 作为 Hugging Face 框架（转换器、扩散器）的后端。 OpenVINO Ge ………………………………