在线研讨会 | ASR 大模型 Whisper 加速部署实战

文章预览

  2024 年 5 月 28 日 20:00  –  21:00 张悦铠  | NVIDIA 解决方案架构师 李奕澎  | NVIDIA 企业开发者社区经理     演 讲 简 介 Whisper 是 OpenAI 发布 的一款语音预训练大模型, 集成了多语种ASR、语音翻译、语种识别的功能。 本次网络技术研讨会，邀请来自 NVIDIA 的技术专家，和您分享如何利用 NVIDIA TensorRT-LLM 和 Triton 加速 Whisper 推理，GPU 部署，中文高效微调等实战经验，以及如何利用 NVIDIA inference Microservice（NIM）+ Whisper ,  快速构建语音交互的 RAG 应用。 本次在线研讨会主要面向对 NLP 大模型 RAG 和语音 AI 感兴趣以及有开发需求的开发者朋友们，本次演讲详细内容包括： 演讲主题一： 利用 NVIDIA TensorRT-LLM 和 Triton 加速 Whisper 语音大模型，内容包括 - 基于  NVIDIA TensorRT-LLM 加速  Whisper 推理 - 基于  NVIDIA Triton 实现  Whisper 的  GPU 部署 - 利用  Deep ………………………………