ECCV 2024｜美团提出UniMD：语言描述视频定位与动作检测的大一统

文章预览

点击下方 卡片 ，关注“ CVer ”公众号 AI/CV重磅干货，第一时间送达 点击进入—> 【Mamba/多模态/扩散】交流群 添加微信号：CVer111，小助手会拉你进群！ 扫描下方二维码，加入CVer学术星球 ！ 可以获得最新顶会/顶刊上的论文idea 和 CV从入门到精通资料，及最前沿应用 ！发论文/搞科研/涨薪，强烈推荐！ UniMD: Towards U nifying Moment Retrieval and Temporal Action Detection 论文： https://arxiv.org/abs/2404.04933 代码：https://github.com/yingsen1/UniMD 摘要 时序动作检测（Temporal Action Detection，TAD）专注于检测预定义的动作，而时刻检索（Moment Retrieval，MR）则旨在识别未剪辑视频中由开放式自然语言描述的事件。尽管它们关注不同的事件，我们观察到它们之间有显著的联系。例如，MR中的大多数描述涉及TAD中的多个动作。在本文中，我们旨在探讨TAD和MR之间的潜在协同作用。首先， ………………………………