Github揽获1.6K星！南大、腾讯发布VITA-1.5: 迈向GPT-4o级实时视频-语音交互

文章预览

↑ 点击 蓝字  关注极市平台 来源丨PaperWeekly 编辑丨极市平台 极市导读   南大和腾讯发布VITA-1.5模型，能够在视觉、文本和语音任务上实现高性能表现。VITA-1.5通过三阶段训练策略，逐步整合视觉和语音模态，实现了端到端的语音生成能力，并在实时交互能力上取得了显著进展，是目前开源领域最快的视觉-语音交互模型。   >> 加入极市CV技术交流群，走在计算机视觉的最前沿 近年来，多模态大语言模型（MLLMs）主要聚焦在视觉和文本模态的融合上，对语音的关注较少。然而，语音在多模态对话系统中扮演着至关重要的角色。由于视觉和语音模态之间的差异，同时在视觉和语音任务上取得高性能表现仍然是一个显著的挑战。 论文标题： VITA-1.5: Towards GPT-4o Level Real-Time Vision and Speech Interaction 论文链接： https://arxiv.org/pdf/2501.01957 代码链接（Star数破千） ………………………………