书生·万象2.5再升级，数学推理、OCR能力大幅提升

文章预览

继12月初推出全量级开源多模态大模型 书生・万象2.5 （InternVL2.5）后，上海人工智能实验室（上海AI实验室）进一步开源了该模型的后训练算法及训练数据，使各量级的模型性能均得到提升。其中，模型的数学推理能力和OCR能力提升最为明显，分别在MathVista和OCRBench达到了76.5%和907分。 相比有监督微调，基于偏好对齐的后训练算法通过额外引入针对负样本的监督信号，可进一步提升模型的训练效果。然而，多模态领域关于偏好对齐的训练数据和实践经验仍然非常稀缺。为此，研究人员构建并开源了首个大规模多模态偏好对齐数据集MMPR，并基于该数据集提出了面向多个优化目标的混合偏好优化算法，使模型可在生成人类偏好响应的同时，区分每条响应的绝对质量以及两条响应之间的相对质量，从而使模型的训练效果得到大幅提升。 在OpenCompass榜单上 ………………………………