8卡32B模型超越o1预览版、DeepSeek V3，普林斯顿、北大提出层次化RL推理新范式

文章预览

©来源  |   机器之心 引言 推理大语言模型（LLM），如 OpenAI 的 o1 系列、Google 的 Gemini、DeepSeek 和 Qwen-QwQ 等，通过模拟人类推理过程，在多个专业领域已超越人类专家，并通过延长推理时间提高准确性。推理模型的核心技术包括强化学习（Reinforcement Learning）和推理规模（Inference scaling）。 主流的大模型强化学习算法，如 DPO、PPO、GRPO 等，通常需要在完整的思维链上进行微调，需要高质量数据、精确的奖励函数、快速反馈和在线迭代、以及大量的算力。 当处理复杂任务，如高级数学和编程问题时，模型需要更细粒度的搜索、更精确的推理步骤和更长的思维链，导致状态空间和策略空间的规模急剧扩大，难度大幅上升。 Inference scaling 策略，不依赖训练，通过延长推理时间进一步提高模型的 Reasoning 能力。常见方法，如 Best-of-N 或者蒙特卡洛树搜索（MCT ………………………………