大模型微调到底有没有技术含量？

文章预览

作者：ybq   中科院大学  信号处理硕士 老生常谈的一句话吧：有没有技术含量取决于这个工作你怎么做，尤其是 llm 方向，上手门槛相比传统 NLP 变得更低了。 我举一些例子吧，针对大模型微调的几个重要环节，我列举的每一种做法大概率都能完成最终目标，甚至说训出来的模型效果都没什么差别。但对个人能力成长的帮助就大不相同了。 数据工作 做法 1 : 继承实验室或者同事的训练数据，拿到之后也不 check 一下数据质量，直接放进去训。 做法 2 : 下载一个开源数据，构建“system + query + answer”集合。 做法 3 : 利用 gpt4 生成数据，学会用 gpt4 喜好的 prompt 去请求。并且意识到数据 prompt 多样性，想尽各种办法去扩充 prompt 的任务多样性和表达方式多样性，甚至去刻意加一些 noisy prompt 去提升抗噪性。同时，愿意放下身架，一条一条去 check 数据质量 ………………………………