大模型对齐中的各种loss讲解

文章预览

↑ 点击 蓝字  关注极市平台 作者丨ybq 来源丨NLP工作站 编辑丨极市平台 极市导读   本文深入讲解了大模型对齐中的各种loss函数，包括SFT家族、DPO家族、RLHF家族等，涉及GPTLMLoss、KDLoss、DPOLoss、KTOLoss、PolicyLoss、ValueLoss、PairWiseLoss、LogExpLoss和PRMLoss等。   >> 加入极市CV技术交流群，走在计算机视觉的最前沿 从这篇文章开始，我会不定期分享利用 OpenRLHF 学习 RLHF 的一些心得。我平常读代码喜欢开门见山，直接去看 loss 函数是什么形式，再去理解代码的其他环节，所以就从 loss 开始分享吧。 代码详见： https://github.com/OpenRLHF/OpenRLHF/blob/main/openrlhf/models/loss.py 基础 在研究 loss 函数前，建议把下面几个公式和图先焊死在脑子中。 Loss Loss 的 grad SFT 家族 GPTLMLoss class GPTLMLoss(nn.Module):        "" "       GPT Language Model Loss       " ""        def __init__(s ………………………………