中科院提出GPT-4o实时语音交互的开源对手：Llama-Omni

文章预览

论文 ：LLaMA-Omni: Seamless Speech Interaction with Large Language Models 地址 ：https://arxiv.org/pdf/2409.06666 研究背景 研究问题 ：这篇文章要解决的问题是如何基于开源的大型语言模型（LLMs）构建低延迟高质量的语音交互模型。传统的基于文本的交互方式限制了LLMs在非理想文本输入输出场景中的应用，而实时语音交互可以显著提升用户体验。 研究难点 ：该问题的研究难点包括：如何消除语音转录的步骤，直接从头语音指令生成文本和语音响应；如何在保证极低延迟的同时，生成高质量的内容和风格响应。 相关工作 ：该问题的研究相关工作有：SpeechGPT和AudioPaLM等模型通过向LLMs的词汇表中添加语音标记并进行预训练来实现语音输入输出，但这些方法需要大量数据和计算资源。另外一些模型则在LLMs前添加语音编码器并进行微调，这些模型主要关注语音理解而非生成 ………………………………