AAAI 2024 Oral｜打破边界：利用CLIP的多任务多模态视频行为识别方法

文章预览

↑ 点击 蓝字  关注极市平台 作者丨王蒙蒙@知乎（已授权） 来源丨https://zhuanlan.zhihu.com/p/704566210 编辑丨极市平台 极市导读   本文 提出了一种新颖的多模态、多任务适配框架，将强大的CLIP模型转移到视频动作识别任务中。该方法在确保最先进的零样本可转移性的同时，实现了强大的监督性能。   >> 加入极市CV技术交流群，走在计算机视觉的最前沿 本文介绍我们在视频行为理解领域的一篇新工作，该工作发表在AAAI 2024（ Oral ）《A Multimodal, Multi-Task Adapting Framework for Video Action Recognition》。 论文链接： https://ojs.aaai.org/index.php/AAAI/article/download/28361/28707 代码地址： https://github.com/sallymmx/m2clip 1 引言 近年来，大规模视觉-语言预训练模型（VLM）如CLIP、ALIGN和Florence的出现引起了极大的关注。因此，研究人员积极探索有效地将这些大型模型适应于特定领域的 ………………………………