无需人工/GPT-4V排序，针对多模态大模型的全自动多级偏好学习

文章预览

©PaperWeekly 原创 · 作者 |  吴文灏 单位 |  悉尼大学博士生 研究方向 |  多模态学习、视频理解 前段时间分享了我们在多模态大模型（MLLM）视觉信号利用方面的思考： Dense Connector ，今天想和大家分享一下我们在另一个正交维度的探索：在 MLLM 的人类反馈强化学习（RLHF）方面的思考，以下分享内容由一作小学弟张梦溪和我共同完成。 论文题目： Automated Multi-level Preference for MLLMs 论文链接： https://arxiv.org/pdf/2405.11165 代码链接： https://github.com/takomc/amp 简介 由于不同模态之间潜在的误对齐，多模态大模型 (MLLMs) 一直被“幻觉”问题所困扰。这里的幻觉指的是模型的回答与图像内容不符的部分。一些前人的探索（例如 LLaVA-RLHF，RLHF-V）等利用了基于强化学习的人类偏好对齐（Reinforcement Learning from Human Feedback，RLHF）。 这些工作证明了 RLHF 是一种解决幻觉 ………………………………