自我反思助力VLM推理！南大清华提出VLM自训练框架，支持Inference Scaling

文章预览

多模态大语言模型（MLLMs）在图像描述、视觉问答等场景有着良好的表现。然而，MLLMs 在需要复杂多模态推理的任务上仍存在不足，多模态思维链（Chain-of-Thought，CoT）推理的性能甚至不如直接回答（Direct QA）。 为提升 MLLMs 在视觉语言推理上的表现，本文主要做了两方面贡献： 1. 构建了一个针对视觉语言场景的 Self-Train 自训练框架，在 STaR 的基础上，以自我反思为核心从错误中学习，提升了 VLM 自我提升的效率； 2. 为 VLM 新增的自我反思机制，让模型在测试时能够采样多条推理路径再选择正确答案，从而通过 test-time compute 提升推理性能；该方法具有可扩展性，随采样次数增多能稳定提升性能且优于多数投票。 论文题目： Vision-Language Models Can Self-Improve Reasoning via Reflection 作者单位： 南京大学、上海AI Lab、清华大学 论文地址： https://arxiv.org/abs/2411.008 ………………………………