数据合成方法-让模型自己说出用了哪些指令对齐数据

文章预览

写在前面 大家好，我是刘聪NLP。 大模型时代，数据至上，如何利用大模型合成更多高质量数据也备受关注。 今天给大家分享一个有意思的大模型合成数据方法-MAGPIE，在不需要种子数据和额外人工干预的情况下，挖掘出对齐过的模型自身的指令数据。 《MAGPIE: Alignment Data Synthesis from Scratch by Prompting Aligned LLMs with Nothing》 paper: https://arxiv.org/abs/2406.08464 github: https://github.com/magpie-align/magpie 核心思想：对齐过的大模型本身是经过大量指令数据对齐得来，往往这些对齐后的模型接受的输入通常由 “前置查询模板”、“查询内容”、“后置查询模板” 组成（例如：Llama2-Chat模型接受的输入是"[INST] Hi! [/INST]"，[INST] 是前置查询模板”，[/INST]则是后置查询模板）当对模型仅输入前置模板时，模型会自回归的合成“查询内容”；并且当组合完全时，开源获得模型 ………………………………