【ICLR2025】流媒体视频理解与多轮交互：基于记忆增强的知识

文章预览

来源：专知 本文 约1000字 ，建议阅读 5 分钟 我们提出了STREAMCHAT，一个无需训练的框架，用于流媒体视频推理和对话互动。 最近在大型语言模型（LLMs）方面的进展使得视频语言模型（Video-LLMs）的发展成为可能，通过将视频数据与语言任务结合，推动了多模态学习的进步。然而，当前的视频理解模型在处理长视频序列、支持多轮对话以及适应现实世界的动态场景方面存在困难。为了解决这些问题，我们提出了STREAMCHAT，一个无需训练的框架，用于流媒体视频推理和对话互动。STREAMCHAT利用一种新颖的分层记忆系统，能够高效地处理和压缩长序列中的视频特征，从而实现实时的多轮对话。我们的框架结合了并行系统调度策略，提高了处理速度并降低了延迟，确保在现实应用中的强大性能。此外，我们还推出了STREAMBENCH，一个多功能的基准测试，能够评估 ………………………………