文章预览
随着 ChatGPT 等聊天机器人的风暴席卷全球，生成式预训练 Transformers （GPT） 在开发者中正在成为家喻户晓的新名字。生成式 AI（GenAI） 的发展，尤其是大语言模型和聊天机器人的进步很快、变化不断，很难预测接下来会有什么突破，开发者应该关注什么。我们知道生成式AI将继续存在，开发人员希望看到在本地开发、维护和部署 AI 应用程序的更简洁明了的方法。 尽管生成式AI 令人兴奋，但对这些模型运行推理仍面临重大挑战，尤其是在边缘设备和 AI PC 上。 OpenVINO™ 英特尔硬件上当前最先进的生成式AI 如今，为了在 Intel 硬件上获得 生成式AI 的最佳性能，开发人员可以使用 Optimum Intel 和 OpenVINO™ 后端优化的 Hugging Face 流水线来运行 生成式AI 模型。OpenVINO™ 可以在 CPU、GPU或NPU 上启用优化，这些可以显著减少延迟并提高运行效率（ https://docs.openvino.ai/
………………………………
