Alignment下一站：合成数据

文章预览

来自：李rumor NICE26期 |  大语言模型多选题评估的偏见与鲁棒性 大模型训练中，数据质量已经是所有人的共识了。在23年开始接触Alignment之后，我一直是人工标注流派，深信InstructGPT [1] 中所描述的，先train好标注员，再train好模型。那时候各个模型的质量也都一般，合成的数据一眼就能挑到一堆毛病。 事情的转折要从sora开始，了解到那么好的效果居然大量应用了合成数据之后，我开始意识到自己还停留在上一个时代。首先大模型的能力是一直在提升的，去年还被狂吹的GPT3.5现在已经被甩了几条街了，大模型在很多任务上都可以达到人类标注员的水平；其次在大模型时代，应该多去发掘模型的价值，学会和AI协作，而不是上来就先验地觉得模型生成的数据质量不过关。 随着业内模型能力和使用熟练度的整体提升，今年数据合成的工作一波又一波，数 ………………………………