中科院引领“开源语音交互大模型”革命，响应延时低至226ms, 仅需4个GPU训练3天！

文章预览

打造一个有温度、有趣味、专业的全栈式AI 交流社区， 用心写好每一篇文章！ “  自从OpenAI推出了GPT-4o之后，它开启了语音交互大模型的大门。国内相继也有很多大公司和创业公司开始模仿它，计划推出自己的语音交互大模型。 ChatGPT等大语言模型通常只支持基于文本的交互，而GPT4o的出现使得通过语音与LLM交互成为可能，按照极低的延迟响应用户的指令，并显著提升了用户体验。 然而，开源社区在构建基于LLM的语音交互模型方面仍然缺乏探索。       当前，实现与LLM的语音交互的最简单方法是通过基于自动语音识别（ASR）和文本到语音（TTS）模型的三段式级联系统 ，其中ASR模型将用户的语音指令转录为文本，TTS模型将LLM的响应合成为语音。然而，由于级联系统顺序输出转录文本、文本响应和语音响应，因此 整个系统往往具有更高的延迟 。 ………………………………