主要观点总结
文章介绍了机器之心AIxiv专栏及其促进学术交流与传播的职能，以及投稿相关信息。重点介绍了一篇关于多模态大模型预训练质量评估的研究，提出了用于评估多模态大模型预训练质量的评估指标Modality Integration Rate（MIR）。文章还介绍了研究背景、技术方案、实验探究等内容。
关键观点总结
关键观点1: 机器之心AIxiv专栏介绍及投稿信息
机器之心AIxiv专栏是发布学术、技术内容的栏目，过去数年接收了2000多篇内容，覆盖全球各大高校与企业的顶级实验室。投稿邮箱为liyazhou@jiqizhixin.com和zhaoyunfeng@jiqizhixin.com。本文作者来自中国科学技术大学、上海人工智能实验室和香港中文大学。
关键观点2: 多模态大模型预训练质量评估的挑战
多模态预训练的评估是业界一个未被充分解决的挑战。现有最常用的评估手段是通过进一步的有监督微调（SFT）来测试在下游基准上的模型能力，但计算成本和复杂性较高。另外一些方法如损失值Loss、困惑度PPL和上下文In-Context评估等，在多模态预训练评估中的可靠性和稳定性有待提高。
关键观点3: 模态融合率（MIR）的提出及应用
针对上述问题，研究团队提出了用于评估多模态大模型预训练质量的评估指标——模态融合率（MIR）。MIR能够准确反映各种预训练配置对模型性能的影响，无需再进行有监督微调（SFT）。通过在不同规模的高质量预训练数据上进行实验，证明了MIR的有效性和适用性。
关键观点4: 技术方案设计及实验探究
文章介绍了技术方案的设计过程，包括文本中心归一化、离群值筛除等步骤。同时，通过一系列实验探究了MIR在扩大预训练数据规模、超参数调整、预训练策略选择等方面的有效性。实验结果表明，MIR与下游测试基准性能之间存在正相关，可以有效指导预训练策略的选择和模块设计。
文章预览
AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。 投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com 本文作者来自于中国科学技术大学， 上海人工智能实验室 以及 香港中文大学 。其中第一作者黄启栋为中国科学技术大学三年级博士生，主要研究方向包括多模态大模型（MLLM）和可信 / 高效 AI，师从张卫明教授。 是否还在苦恼如何评估自己预训练好的多模态 LLM 的性能？是否还在使用并不靠谱的损失 Loss，困惑度 Perplexity（PPL），上下文 In-Context 评估，亦或是一遍遍地通过有监督微调（SFT）之后下游测试基准的分数来判断自己的预训练是否有效？ 来自中科大等单位的研
………………………………
