理解时间戳的视频理解大模型CogVLM2开源！视频生成、视频摘要等任务有力工具！

文章预览

随着大型语言模型和多模态对齐技术的发展，视频理解模型在通用开放领域也取得了长足的进步。然而，目前大多数视频理解模型采用帧平均和视频 token 压缩的方法，导致时间信息丢失，无法准确回答时间相关的问题。另一方面，一些专注于时间问答数据集的模型过度局限于特定的格式和适用领域，导致模型丧失了更通用的问答能力。CogVLM团队引入多帧视频图像和时间戳作为编码器输入，训练了一个新的视频理解模型 — CogVLM2-Video。CogVLM2-Video 不仅在公开的视频理解基准上取得了最佳表现，而且在视频字幕和时间基础方面也表现出色，为后续的视频生成、视频摘要等任务提供了有力的工具。 模型效果： 01 模型架构 目前视频理解的主流思路是利用图像编码器从视频中提取帧，对其进行编码，然后设计编码压缩模块（如时间池化或Q-Former模块）对视 ………………………………