连接人工智能技术人才和产业人才的交流平台
目录
相关文章推荐
宝玉xp  ·  shadcn UI ... ·  19 小时前  
爱可可-爱生活  ·  [CL]《Ordered ... ·  19 小时前  
黄建同学  ·  了解本周Google ... ·  3 天前  
今天看啥  ›  专栏  ›  机器学习研究组订阅

细谈大模型监督微调SFT:实战经验技巧和debug分析思路

机器学习研究组订阅  · 公众号  · AI  · 2024-10-22 20:41
    

文章预览

这篇文章介绍一下大模型的 SFT 如何去做。SFT 其实没有太多的技术细节和琐碎工作需要科普。因此,我会默认读者们都知道 SFT 是做什么的以及如何去做一些简单的 SFT 微调工作,我主要是分享一些经验技巧和 debug 的分析思路。 老样子,为避免老板开了我,涉及到 agent / 复杂指令 / 长文本等相对避讳一点的话题,我会点到为止,主要聊聊大的技术方向,细节可能就不多说了,望大家见谅。 1、背景篇 这里先普及一些 SFT 涉及到的基础概念,方便新人同学理解后续内容,老同学则可以跳过这一篇章。 Special Token pretrain 阶段完全没见过的 token,在 SFT 阶段会被赋予全新的语义。主要用于标注对话的角色:user、assistant、system 这些。 此外,special_token 可以用来“构造知识”,比如" 喜欢 "这种知识一定是 SFT 阶段才会见到的,可以剔除掉 pretrain 先验知识的影 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览