人人都能看懂的DPO数学原理

文章预览

一、DPO在做一件什么事 在文章的开始，我们来思考一个问题： 如果想让你训练一个能听得懂人类问题，并给出人类满意答案的模型，你会怎么设计大致的训练步骤？ 一口吃成一个大胖子是困难的，所以不如让我们循序渐进地来设计这个训练过程： 首先，你的模型必须要有充足的知识储备，以应对你可能提出的任何问题 其次，你的模型需要明白“你在提出问题”或者“你在下达指令”这个动作，它在理解这一点的基础上，尝试按照你的指令给出相应的回答 最后，你希望模型不仅能对你的问题给出答案，还需要给出令你满意的回答，也就是你希望模型对齐你的偏好。 我们以chatGPT的训练为例，看看它是如何贴合这个训练步骤的： 首先，它使用大量的数据(文本、代码、数学等)，先训练出一个base模型。这个训练过程赋予模型对文本上下文的理解能力 ………………………………