大模型训练十戒

文章预览

今天看到一个很有意思的东西，言简意赅，字字玑珠。加了包大人的注解，与大家分享。 新造的LLM，感谢尊者开悟～ 1. 切勿微调（Thou Shalt Not Fine-Tune） ：尽量写prompt，利用大模型本身的能力zeroshot，必要时辅以少量样本（few-shot examples）或检索增强生成（RAG）。微调成本高、速度慢且复杂，仅在确实需要时才进行。 注解：在一些接近大模型通用能力的场景上，随着模型基础能力的增强，微调的必要性越来越低。如果最近使用过gpt4o的接口的话，一定会被其拥有3.5的速度和4.5的效果震撼到，真的，如无必要，无需微调。 2. 务必调调prompt（Thou Shalt Write a Freaking Prompt） ：用一个prompt创建一个baseline，并通过写prompt证明这个场景或者任务是可行的。如果写prompt就可以达到基本要求，那么微调可以进一步提升；如果prompt不起作用，微调成功的可能性就很低 ………………………………