尝试基于小模型(0.5B)复现DeepSeek-R1的思维链

文章预览

1. 前言 本文主要是以两个目的出发： 第一个是简单地介绍下LLM训练的一个完整流程，侧重点在于帮助认识这个过程，而不是严谨地对每一个剖析细节，因此基本没有公式推导，但一些必要的符号是避免不了的； 第二个是尝试使用小模型（0.5B）来复现DeepSeek-R1的思维链模式，仅仅是一个demo级别的实践。 （本人水平有限，如若发现有不对的，欢迎交流探讨） 2. 如何从零训练一个LLM 最简单的语言来描述一个LLM的工作（推理）机制： 将一段输入文本映射为对应的tokens，然后给到transformer模型，预测下一个token的概率分布，选择概率最高的token（当然，也会有采样topK个概率最高的tokens）； 本次选择的token + 输入文本的tokens + 之前预测输出的tokens，拼接起来，继续给到transformer模型，预测下一个token的概率分布； 重复第2步，直到模型输出代表结束的token； ………………………………