专栏名称: AINLP
关注AI、NLP相关技术,关注算法研发职位和课程;回复"文章"获取历史信息;双语聊天机器人"无名";中英翻译请输入:翻译 翻译内容;自动对联,请输入:上联 上联内容;调戏夸夸聊天机器人,请求夸、求赞;查询相似词,请输入: 相似词 词条
今天看啥  ›  专栏  ›  AINLP

什么!SFT完全没用!

AINLP  · 公众号  ·  · 2024-10-04 20:06
    

文章预览

知乎:莫笑傅里叶 链接:https://zhuanlan.zhihu.com/p/744847498 Google Deepmind: Training Language Models to Self-Correct via Reinforcement Learning 解决了什么问题: 让大模型学习自我矫正,从而提升LLM输出性能。 现有方法: Prompt Engineering SFT (Supervised Fine-Tuning) 一般都会推理多次,用一个verifier来判别最终的输出。 有效的verifier一般只局限于有强外部反馈的任务中,诸如代码问题,把代码跑一遍能得出哪里报错。 如果没这种强外部反馈的任务,目前的方法中LLM的self-correct能力基本为0。 为什么SFT无法实现self-correct? 我们展示了 SFT 方法的两个明显失败来源: SFT 倾向于学习一种做出微小更改的校正行为模式,由于分布偏移,导致模型对响应的self-correct能力下降。 离线的SFT可能无法有效地利用额外的上下文tokens来学习细微的算法行为。这是由于训练数据中的分布偏移所带来的 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览