CVPR 2024 冠军！视频版GPT-4o

文章预览

仅作学术分享，不代表本公众号立场，侵权联系删除 转载于：机器之心 项目主页：https://invinciblewyq.github.io/vstream-page 论文链接：https://arxiv.org/abs/2406.08085 代码仓库：https://github.com/IVGSZ/Flash-VStream 在线体验：https://huggingface.co/spaces/IVGSZ/Flash-VStream-demo 不同于传统视频理解 LMM，Flash-VStream 将视觉信息感知记忆和问答交互解耦，使用多进程系统实现了对长视频流的实时处理。那么这项研究具体是如何做的呢？ 模型核心：STAR 记忆机制 如论文中的框架图所示，Flash-VStream 架构十分简洁，由帧处理进程和问题处理进程组成，其模型包括四个主要部分：1) 预训练的 CLIP-ViT 视觉编码器；2) 大语言模型；3）STAR 记忆机制；4）特征缓冲区。其中，后两者是 Flash-VStream 的核心。STAR 记忆包括 “空间”、“时间”、“抽象”、“检索” 四种记忆模块，用于高效融合不同 ………………………………