主要观点总结
本文介绍了来自清华大学、腾讯公司和南洋理工大学的研究者们提出的一种多模态模型Oryx，该模型能够处理图像、视频和多视角3D场景，并提供了能够按照需求处理任意空间大小和时间长度视觉输入的解决方案。文章涵盖了Oryx模型的主要贡献、方法概览、实验结果和案例分析。
关键观点总结
关键观点1: 现有方法的不足
现有的多模态大语言模型在处理不同长度的视觉输入时效率较低，通常将视觉输入进行分辨率的标准化或动态切分等操作以便视觉编码器处理，但对于多模态理解并不理想。
关键观点2: Oryx模型的主要特点
Oryx是一种统一的多模态架构，能够处理图像、视频和多视角3D场景。它包括一个预训练的OryxViT模型，能够将任意原始分辨率的图像编码为视觉token；一个动态压缩模块，支持按需对视觉token进行1倍到16倍的压缩。
关键观点3: 数据理解训练策略的不同
文章介绍了一些不同与现有方法的新颖训练策略和数据集，包括视频大海捞针训练、粗略空间关系学习等。
关键观点4: 实验结果
实验结果表明，在图像理解、视频理解和三维理解任务上，无论是选择题评测标准还是回答生成评测标准，相较于其他模型，Aryx都表现出出色的性能。
文章预览
AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。 投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com 本文的主要作者来自清华大学智能视觉实验室（i-Vision Group）、腾讯公司和南洋理工大学 S-Lab。本文的共同第一作者为清华大学自动化系博士生刘祖炎和南洋理工大学博士生董宇昊，主要研究方向为多模态模型。本文的通讯作者为腾讯高级研究员饶永铭和清华大学自动化系鲁继文教授。 视觉数据的种类极其多样，囊括像素级别的图标到数小时的视频。现有的多模态大语言模型（MLLM）通常将视觉输入进行分辨率的标准化或进行动态切分等操作，以便视觉编码器处理。然而
………………………………
