谈谈对DeepSeek-R1的一些理解

文章预览

↑ 点击 蓝字  关注极市平台 作者丨猛猿 来源丨大猿搬砖简记 编辑丨极市平台 极市导读   探讨DeepSeek-R1及其前身R1-Zero的训练方法和性能。   >> 加入极市CV技术交流群，走在计算机视觉的最前沿 一、写在前面 在OpenAI o1刚放出来时，它有限的技术报告里，有2个内容格外抓人眼球： Inference/test-time scaling RL 我一直是把这2者理解为两个独立的个体 ，在这个基础上，当时我给出了一些关于o1实现思路的猜想（https://zhuanlan.zhihu.com/p/773907223）： 我认为o1走的可能是上述framework3的路线 ，总结来说： Inference/test-time scaling ： 这一块的主要作用是为RL过程自动化地制造高质量数据集 。包括用于format模型产生思考过程的long cot数据集，以及带preference labels的数据集。我把这一块的系统抽象为PRM + some search methods的形式。例如讨论度很高的MCTS，本质上也可理解为 fixed P ………………………………