端侧大模型推理挑战与优化：商汤 SensePPL 深度调优实践

文章预览

演讲嘉宾｜雷丹 编辑 ｜ 蔡芳芳 策划 ｜AICon 全球人工智能开发与应用大会 当前，大模型推理正在向手机、PC、智能汽车等边缘侧和端侧产品渗透。然而，在终端部署 AI 大模型时，仍面临着存储与计算资源、功耗、软件生态等多重挑战。商汤大装置 HPC 团队基于多年的传统 CNN 推理基础设施研发与优化的经验，推出 SensePPL 端侧大模型推理系统，在计算优化、推理框架、Serving Pipeline 等层面进行深度调优，最终取得了业界领先的首字延迟、Decoding 延迟等端侧性能指标，大幅改善终端大模型落地的交互体验。 在不久前举办的 AICon 全球人工智能开发与应用大会上，商汤科技系统研究员雷丹做了主题为“SensePPL 端侧大模型系统与优化”的专题演讲分享，深入探讨在端侧设备上部署 AI 大模型的潜在优势以及面临的主要难题。 在 10 月 18 -19 日即将召 ………………………………