主要观点总结
本文主要介绍了研究团队发布的开源多模态大模型评测器LLaVA-Critic，该模型旨在启发社区开发通用大模型评测器。LLaVA-Critic的构建包括构建评测指令遵循数据集、训练模型和验证模型的有效性等步骤。实验表明，LLaVA-Critic在多个开放式多模态场景中能够作为通用的评测器，其评分和排序与人类和GPT-4o的偏好高度一致，并成功应用于偏好学习，提升了多模态大模型的视觉对话能力。
关键观点总结
关键观点1: LLaVA-Critic是首个开源的多模态大模型评测器，旨在启发社区开发通用大模型评测器。
它通过构建评测指令遵循数据集、训练模型和验证模型的有效性等步骤实现。
关键观点2: LLaVA-Critic具有强大的通用评测能力，能够在多个开放式多模态场景中作为通用的评测器。
实验表明其评分和排序与人类和GPT-4o的偏好高度一致。
关键观点3: LLaVA-Critic在偏好学习方面的应用效果显著，提供的偏好信号能有效提升多模态大模型的视觉对话能力。
甚至超越了基于人类反馈的LLaVA-RLHF奖励模型。
文章预览
AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。 投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com 作者介绍：本文作者来自于字节跳动和马里兰大学。其中第一作者为马里兰大学博士生熊天翼，主要研究领域为计算机视觉，多模态基础大模型；通讯作者为 Chunyuan Li (https://chunyuan.li/)。 本文作者也包括马里兰大学博士生王玺尧，字节跳动研究员 Dong Guo、Qinghao Ye、Haoqi Fan、Quanquan Gu, 马里兰大学教授 Heng Huang。 引言：Evaluation is All You Need 随着对现有互联网数据的预训练逐渐成熟，研究的探索空间正由 预训练转向后期训练（ Post-training） ， OpenAI o1 的发布正彰显了这一点。
………………………………
