大模型微调，进化之路—— SFT、RLHF、DPO、IFT

文章预览

作者：边路腰刀，清华大学 电子系博士在读 原文：https://zhuanlan.zhihu.com/p/710652762 TL;DR • SFT、RLHF 和 DPO 都是先估计 LLMs 本身的偏好，再与人类的偏好进行对齐； • SFT 只通过 LLMs 生成的下一个单词进行估计，而 RLHF 和 DPO 通过 LLMs 生成的完整句子进行估计，显然后者的估计会更准确； • 虽然 RLHF 和 DPO 取得比 SFT 好的结果，但代价是高昂的数据构造和计算资源开销； • IFT 通过引入时序残差连接，仅使用多推理一步的开销，就可以融合 SFT、RLHF 和 DPO 的训练目标，摆脱对偏好数据和参考模型的依赖，保证训练目标与真实生成目标更加相近； • IFT 建模并优化了当前生成单词对所有未来生成结果的影响，增强了模型的因果性和事实性； 引言 随着 ChatGPT 等强大模型的发布，大语言模型（Large Language Models，LLMs）的浪潮席卷而来，并逐渐走进千家万户。L ………………………………