ASR 速度革新！将 Whisper 推理生成速度提高 150%

文章预览

项目简介 ASR 速度革新！将 Whisper 推理生成速度提高 150% ⚡️ 同时带来最小性能损耗的 Medusa Heads 加持的 whisper-medusa 开源 🔥 Medusa 是一个加速 LLM 推理速度的框架，可以与任意微调模型整合，提速 2.2～3.6x 的推理速度 Whisper 是一种高级的编码器-解码器模型，用于语音转录和翻译，通过编码和解码阶段处理音频。鉴于其庞大的规模和缓慢的推理速度，已经提出了诸如 Faster-Whisper 和推测性解码等优化策略来提高性能。我们的 Medusa 模型在 Whisper 的基础上通过每迭代预测多个令牌，显著提高了速度，同时在 WER 上略有下降。我们使用 LibriSpeech 数据集对模型进行训练和评估，证明了与原始 Whisper 模型相比，具有相同比例准确性的强性能速度改进。 Whisper Medusa 架构 培训和评估详情 Whisper Medusa基于带有 10 个美杜莎头的 Whisper 大型模型。它在 LibriSpeech 数据集 ………………………………