社区供稿 | 加速基于 Arm Neoverse N2 的大语言模型推理

文章预览

作者：  安谋科技 (Arm China) 高级软件产品经理 杨喜乐 安谋科技 (Arm China) 主任软件工程师 李天羽 人工智能 (AI) 正在众多行业掀起浪潮，尤其是在大语言模型 (LLM) 问世后，AI 发展呈现井喷之势。LLM 模型不仅极大改变了我们与技术的交互方式，并且在自然语言理解和生成方面展现出了惊人的能力。虽然 GPU 在训练生成式 AI 模型方面发挥了重要作用，但在推理领域，除了 GPU 和加速器之外，还有其他可行的选择。长期以来，CPU 一直被用于传统的 AI 和机器学习 (ML) 用例，由于 CPU 能够处理广泛多样的任务且部署起来更加灵活，因此当企业和开发者寻求将 LLM 集成到产品和服务中时，CPU 成了热门选择。 在本文中，我们将探讨基于 Arm Neoverse N2 的阿里巴巴倚天 710 CPU 在运行 Llama 3 [1] 和 Qwen1.5 [2] 等业内标准 LLM 时所展现的灵活性和可扩展性。此外，本 ………………………………