ICME 2024 | ASQuery：基于Query的时序动作分割新架构

文章预览

北京邮电大学与EVOL创新团队和ACG工业算法组针对时序动作分割任务共同提出了基于query新架构的模型ASQuery。ASQuery包含了动作及边界两种query，利用动作query将原先的帧维度分类过程转化为query与视频帧的相似度计算过程，提高了分类精度；利用边界query预测动作的边界，进一步平滑了原先的预测结果，大大缓解了过分割现象。 论文ASQuery: A Query-based Model for Action Segmentation 已被ICME2024接收 。 论文标题： ASQuery: A Query-based Model for Action Segmentation  论文地址： https://github.com/zlngan/ASQuery/blob/main/paper.pdf GitHub主页： https://zhaoj9014.github.io 一、背景和动机 现有的时序动作分割模型通常将该任务建模为帧维度的分类问题，通用范式为先建模视频的时序信息，提取到具有较强表征能力的视频帧特征，然后使用分类器对每帧类别进行判断。在这种范式中，每个视频帧 ………………………………