大语言模型可以“听”和“说”

文章预览

文章介绍了Mini-Omni模型，这是一种开源的端到端多模态大语言模型，旨在实现实时语音交互。为了解决现有模型在语音交互中的延迟问题，作者提出了文本指令的并行生成方法和批量并行解码策略，这些方法能够在保留原有语言模型推理能力的同时，显著提升语音输出的实时性和质量。此外，文章还介绍了"Any Model Can Talk"的训练方法和专门用于语音助手优化的VoiceAssistant-400K数据集。 1 Mini-Omni模型 多模态大语言模型Mini-Omni，具备实时语音交互能力，该模型通过引入适配器和并行生成策略，实现了音频和文本的同时生成。目标是提升模型的实时语音输出能力，解决现有模型在语音生成中的延迟问题。 Audio Language Modeling （1）将连续的语音信号离散化为语音标记，并将这些标记与文本标记结合在一起进行建模。 （2）提出了一种新的词汇表，结合了语音 ………………………………