【LLM模型微调】LLMs-微调经验-SFT总结v9.0

文章预览

【1】大模型微调到底有没有技术含量，或者说技术含量到底有多大？ 老生常谈的一句话吧：有没有技术含量取决于这个工作你怎么做，尤其是 llm方向，上手门槛相比传统 NLP变得更低了。 我举一些例子吧，针对大模型微调的几个重要环节，我列举的每一种做法大概率都能完成最终目标，甚至说训出来的模型效果都没什么差别。但对个人能力成长的帮助就大不相同了。 【1】数据工作 做法 1  : 继承实验室或者同事的训练数据，拿到之后也不 check 一下数据质量，直接放进去训。 做法 2  : 下载一个开源数据，构建“system + query + answer”集合。 做法 3  : 利用 gpt4生成数据，学会用 gpt4 喜好的 prompt去请求。并且意识到数据 prompt 多样性，想尽各种办法去扩充 prompt 的任务多样性和表达方式多样性，甚至去刻意加一些 noisy prompt 去提升抗噪性。同时，愿意放 ………………………………