微调数据指令复杂度论文分享

文章预览

WizardLM: Empowering Large Language Models to Follow Complex Instructions 一种数据进化的方式，通过人工调试出的特殊指令来构造更加多样且难度增加的数据。2种数据多样性生成方法分别是： Prompts of In-Depth Evolving. 将原来的指令变得更加复杂和困难； Prompts of In-Breadth Evolving. 增加指令数据覆盖的领域，增加整体数据集的指令多样性； 有趣的是，文中在每一轮生成数据是，在同一个指令上面使用5次In-Depth和1次的In-Breadth，论文中没有提及太多原因，但感觉可能和2种生成方法的成功率有关。 上述生成的指令，进而使用chatGPT得到对应指令的答案。最后一步是对上述生成指令和对应答案进行筛选，方法如下： 使用chatGPT判断2条指令是否在内容上完全一样，即是否有信息增量； 因为进化的随机性，有一定可能模型无法给出有效的答案，这部分用规则检测模型回复过滤； ………………………………