【他山之石】AAAI 2024 Oral｜打破边界：利用CLIP的多任务多模态视频行为识别方法

文章预览

“ 他 山 之 石 ， 可 以 攻 玉 ” ， 站 在 巨 人 的 肩 膀 才 能 看 得 更 高 ， 走 得 更 远 。 在 科 研 的 道 路 上 ， 更 需 借 助 东 风 才 能 更 快 前 行 。 为 此 ， 我 们 特 别 搜 集 整 理 了 一 些 实 用 的 代 码 链 接 ， 数 据 集 ， 软 件 ， 编 程 技 巧 等 ， 开 辟 “ 他 山 之 石 ” 专 栏 ， 助 你 乘 风 破 浪 ， 一 路 奋 勇 向 前 ， 敬 请 关 注 ！ 本文 提出了一种新颖的多模态、多任务适配框架，将强大的CLIP模型转移到视频动作识别任务中。该方法在确保最先进的零样本可转移性的同时，实现了强大的监督性能 本文介绍我们在视频行为理解领域的一篇新工作，该工作发表在AAAI 2024（ Oral ）《A Multimodal, Multi-Task Adapting Framework for Video Action Recognition》。 论文链接： https://ojs.aaai.org/index.php/AAAI/article/download/28361/28707 代码地址： https://github.com/sallymm ………………………………