校招生做大模型，选预训练还是SFT？

文章预览

作者：ybq 链接：https://www.zhihu.com/question/635761315/answer/3608088928 我推荐选 pretrain，理由如下： pretrain 提高工程能力，sft 提高认知能力 作为校招新人，你的当务之急只有一条： 提升工程代码能力！ 我们拆解一下两个团队所需要的技能，你判断下哪个提升代码能力更快。 在 pretrain 团队，你的必修课有：爬取互联网数据，大规模数据清洗与去重（hadoop、spark等），配置各种 torch 和 cuda 环境，搞懂、修改、优化 megatron 的代码，熟练 debug 多机通讯报错，成熟的炼丹技巧（数据配比，学习率，优化器，课程学习，分析 loss 曲线、scaling_law），跑通各 benchmark 验证模型能力； 在 sft 团队，训练框架和炼丹技巧只属于选修课，往往公司不给你时间学习，你的必修课大概只包含以下内容：手动标数据，用 gpt4 标数据，教会标注人员标数据，利用用户反馈标数据，根 ………………………………