【论文日报】LLM合集：Mini-Omni—首个端到端实时语音交互的开源LLM模型

文章预览

1. Mini-Omni: Language Models Can Hear, Talk While Thinking in Streaming 点击下方 卡片 ，关注“ 自动驾驶之星 ” 这里有一群奋斗在自动驾驶量产第一线的小伙伴等你加入 近期语言模型的进步取得了显著的进展。GPT-4o作为新的突破点，能够实现与人类的实时对话，展示了接近人类的自然流畅性。这种人机交互需要具备直接与音频模态进行推理并生成流式输出的模型。然而，这仍然超出了当前学术模型的范围，因为它们通常依赖额外的TTS系统进行语音合成，导致了不理想的延迟。本文介绍了一种名为Mini-Omni的音频基础端到端对话模型，能够实现实时语音交互。为了实现这一能力，我们提出了一种基于文本指令的语音生成技术，并在推理过程中采用批处理并行策略以进一步提升性能。我们的方法也有助于在最小性能损失的情况下保留原始模型的语言能力，使其他工作 ………………………………