大模型微调到底有没有技术含量？

文章预览

MLNLP 社区是国内外知名的机器学习与自然语言处理社区，受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。 社区的愿景 是促进国内外自然语言处理，机器学习学术界、产业界和广大爱好者之间的交流和进步，特别是初学者同学们的进步。 转载自 | NLP工作站 作者 | ybq@知乎 老生常谈的一句话吧：有没有技术含量取决于这个工作你怎么做，尤其是 llm 方向，上手门槛相比传统 NLP 变得更低了。 我举一些例子吧，针对大模型微调的几个重要环节，我列举的每一种做法大概率都能完成最终目标，甚至说训出来的模型效果都没什么差别。但对个人能力成长的帮助就大不相同了。 数据工作 做法 1 : 继承实验室或者同事的训练数据，拿到之后也不 check 一下数据质量，直接放进去训。 做法 2 : 下载一个开源数据，构建“system + query + answer”集合。 做法 3 : ………………………………