过程级奖励模型遭遇“信任危机”？PRMBench精细化基准揭示LLM强大推理幕后功臣的潜在缺陷

文章预览

©PaperWeekly 原创 · 作者 |  宋明阳 单位 |  复旦大学博士生 研究方向 |  VLM/LLM Reasoning 最近，模型在长序列下的推理能力得到了大幅加强，出现了诸如 o1，Gemini-thinking 等强力多步推理模型。在这个过程中，过程级奖励模型（PRMs）是驱动大语言模型（LLMs）进行复杂推理和决策的关键“幕后功臣”。 然而，它们真的足够可靠吗？一项最新研究表明，现有 PRMs 在识别推理过程中的细微错误方面存在显著不足，甚至不如随机猜测！ 论文标题： PRMBench: A Fine-grained and Challenging Benchmark for Process-Level Reward Models 论文链接： https://arxiv.org/abs/2501.03124 项目主页： https://prmbench.github.io/ 代码仓库： https://github.com/ssmisya/PRMBench 数据集链接： https://huggingface.co/datasets/hitsmy/PRMBench_Preview 作者单位： 复旦大学、苏州大学、上海人工智能实验室、石溪大学、香港中文大学 近 ………………………………