阿里音频生成大模型一次发俩还开源！50种语言快速理解+5种语言语音生成，带情感的那种

文章预览

FunAudioLLM团队 投稿 量子位 | 公众号 QbitAI OpenAI迟迟不上线GPT-4o语音助手，其它音频生成大模型成果倒是一波接着一波发布，关键还是开源的。 刚刚，阿里通义实验室也出手了—— 最新发布开源语音大模型项目 FunAudioLLM ，而且一次包含 两个模型：SenseVoice和CosyVoice 。 SenseVoice专注高精度多语言语音识别、情感辨识和音频事件检测 ，支持超过50种语言识别，效果优于Whisper模型，中文与粤语提升50%以上。 且情感识别能力强，支持音乐、掌声、笑声、哭声、咳嗽、喷嚏等多种常见人机交互事件检测，多方面测试拿下SOTA。 CosyVoice则专注自然语音生成，支持多语言、音色和情感控制 ，支持中英日粤韩5种语言的生成，效果显著优于传统语音生成模型。 仅需要3~10s的原始音频，CosyVoice即可生成模拟音色，甚至包括韵律、情感等细节，包括跨语种语音生成。 而 ………………………………