高效评估多模态预训练对齐质量，中科大提出模态融合率MIR

文章预览

是否还在苦恼如何评估自己预训练好的多模态 LLM 的性能？是否还在使用并不靠谱的损失 Loss，困惑度 Perplexity（PPL），上下文 In-Context 评估，亦或是一遍遍地通过有监督微调（SFT）之后下游测试基准的分数来判断自己的预训练是否有效？ 来自中科大等单位的研究团队共同提出了 用来有效评估多模态大模型预训练质量的评估指标 Modality Integration Rate（MIR） ，能够快速准确地评估多模态预训练的模态对齐程度。 论文标题：  Deciphering Cross-Modal Alignment in Large Vision-Language Models with Modality Integration Rate  论文链接： https://arxiv.org/abs/2410.07167 代码链接： https://github.com/shikiw/Modality-Integration-Rate 一、研究背景 预训练（Pre-training）是现有多模态大模型（MLLM）在训练过程中一个不可或缺的阶段。不同于大型语言模型（LLM）的预训练，多模态预训练的主要目标聚焦 ………………………………