多模态实时交互大模型浦语·灵笔 2.5 OmniLive开源：能看、能听、会记、会说！

文章预览

01 前言 2024年12月12日， 多模态实时交互大模型书生·浦语灵笔2.5-OL(InternLM-XComposer2.5-OmniLive) 开源，该模型可以通过视觉和听觉实时观察和理解外部世界，自动形成对观察到内容的长期记忆，并可通过语音与人类用户进行对话交谈，提供更自然的大模型交互体验。 书生·浦语灵笔首发于2023年10月，经过历次迭代，已具备图文理解、图文混合创作、超高分辨率图像分析、超长多模态上下文等多项能力，获得了开源社区的广泛关注和好评，全系列模型累计下载量超过200万次。 书生·浦语灵笔2.5-OL 基于书生·浦语2.5大语言模型（InternLM 2.5）研发，采用了多模块通专融合的架构方案，通过多模态实时感知及记忆编码的快系统和多模态复杂推理大模型的慢系统协同，实现多模态实时交互功能。 技术报告地址： https://github.com/InternLM/InternLM-XComposer/blob/main/InternLM-XC ………………………………