主要观点总结
Kimi发布了新的开源项目——通用音频基础模型Kimi-Audio，支持多种音频任务，包括语音识别、音频理解、音频转文本、语音对话等。它在多个音频基准测试中取得了SOTA性能，尤其是LibriSpeech ASR测试上WER仅1.28%。模型由三个核心组件组成：音频分词器、音频大模型和音频去分词器。除了模型架构，数据建构和训练方法也是实现SOTA模型的关键。Kimi-Audio在数据预处理、模型训练和评估等方面都有创新。研究者使用评估工具包详细评估了Kimi-Audio在多个音频处理任务中的表现，包括ASR、音频理解、音频转文本聊天和语音对话。评估结果证明了Kimi-Audio的卓越能力。
关键观点总结
关键观点1: Kimi-Audio的新特性与成果
Kimi发布了新的通用音频基础模型Kimi-Audio，支持多种音频任务；在多个音频基准测试中取得了SOTA性能，如LibriSpeech ASR测试的WER仅1.28%；模型由新颖的集成式架构设计，包括三个核心组件：音频分词器、音频大模型和音频去分词器。
关键观点2: 数据建构与训练方法的重要性
除了模型架构，数据建构和训练方法也是实现SOTA模型的关键；Kimi-Audio在预训练阶段使用了大量覆盖多场景的音频数据，并设计了三个类别的预训练任务来提升模型的能力；研究者还详细设计了训练方法和配方以提升训练效率和任务泛化能力。
关键观点3: 全面的评估结果
研究者使用评估工具包详细评估了Kimi-Audio在多个音频处理任务中的表现，包括ASR、音频理解、音频转文本聊天和语音对话；Kimi-Audio在多个基准测试中均表现出卓越的性能，如LibriSpeech、AISHELL等；此外，它在音频理解和生成能力方面也有出色的表现。
文章预览
机器之心报道 编辑：Sia、杨文 六边形战士来了。 今天，kimi 又发布了新的开源项目 —— 一个全新的通用音频基础模型 Kimi-Audio，支持语音识别、音频理解、音频转文本、语音对话等多种任务，在十多个音频基准测试中实现了最先进的 (SOTA) 性能。 结果显示，Kimi-Audio 总体性能排名第一，几乎没有明显短板。 例如在 LibriSpeech ASR 测试上，Kimi-Audio 的 WER 仅 1.28%，显著优于其他模型。VocalSound 测试上，Kimi 达 94.85%，接近满分 。MMAU 任务中，Kimi-Audio 摘得两项最高分；VoiceBench 设计评测对话助手的语音理解能力，Kimi-Audio 在所有子任务中得分最高，包括一项满分。 研发人员开发了评估工具包，可在多个基准任务上对音频 LLM 进行公平、全面评估 ，五款音频模型（Kimi-Audio、Qwen2-Audio、Baichuan-Audio、StepAudio、Qwen2.5-Omni）在各类音频基准测试中的表现对比。紫线
………………………………
