【源头活水】ECCV 2024 | Elysium: MLLM也能跟踪任何物体

文章预览

“ 问 渠 那 得 清 如 许 ， 为 有 源 头 活 水 来 ” ， 通 过 前 沿 领 域 知 识 的 学 习 ， 从 其 他 研 究 领 域 得 到 启 发 ， 对 研 究 问 题 的 本 质 有 更 清 晰 的 认 识 和 理 解 ， 是 自 我 提 高 的 不 竭 源 泉 。 为 此 ， 我 们 特 别 精 选 论 文 阅 读 笔 记 ， 开 辟 “ 源 头 活 水 ” 专 栏 ， 帮 助 你 广 泛 而 深 入 的 阅 读 科 研 文 献 ， 敬 请 关 注！ 代码：https://github.com/Hon-Wong/Elysium 论文：https://arxiv.org/abs/2403.16558 一、研究背景与挑战 近年来，多模态大型语言模型在静态图像的物体感知任务上已展示出强大的能力（如：Visual Grounding），但其在视频相关任务（如目标跟踪）中的应用仍然不足。其主要挑战有两点： 数据需求 ：Expert SOT model一般会设置Search Area，Cosine Window等，从而引入显式的帧间位置约束。而MLLM模型则需要在大规模视频数 ………………………………