Big Model Weekly | 第38期

文章预览

点击蓝字 关注我们 AI TIME欢迎每一位AI爱好者的加入！ 01 Mini-Omni: Language Models Can Hear, Talk While Thinking in Streaming 近期在语言模型方面的进展取得了显著的进步。GPT-4o作为一个新里程碑，实现了与人类的实时对话，展示了接近人类的自然流畅度。这种人机交互需要模型具备直接使用音频模态进行推理的能力，并能够流式生成输出。然而，这仍然超出了当前学术模型的能力范围，因为它们通常依赖额外的文本转语音(TTS)系统进行语音合成，导致不受欢迎的延迟。本文介绍了Mini-Omni，这是一个基于音频的端到端对话模型，能够实现实时语音交互。为了实现这一能力，作者提出了一种文本指导的语音生成方法，并在推理过程中采用批量并行策略以进一步提高性能。本研究的方法还有助于在最小程度上保留原始模型的语言能力，使其他工作能够建立实时交互能 ………………………………