视频大模型中视觉上下文表示的scaling law

文章预览

MLNLP 社区是国内外知名的机器学习与自然语言处理社区，受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。 社区的愿景 是促进国内外自然语言处理，机器学习学术界、产业界和广大爱好者之间的交流和进步，特别是初学者同学们的进步。 转载自 | RUC AI Box 作者｜都一凡‍‍‍‍‍‍‍‍ 机构｜中国人民大学 研究方向｜多模态大模型 论文题目：Exploring the Design Space of Visual Context Representation in Video MLLMs ‍ 论文链接： https://arxiv.org/pdf/2410.13694 1 引言 视频多模态大语言模型（MLLMs）在各种下游任务中展现了卓越的视频语义理解能力。尽管取得了很大进展，但在 视觉上下文表示 方面仍缺乏系统性的研究。这里的视觉上下文表示，指的是视频中的帧和每一帧的视觉向量（视觉token）共同构成了视频大模型的视觉窗口，即窗口长度大于等于帧数与视 ………………………………