73页，开源「后训练」全流程！AI2发布高质量Tülu 3系列模型，拉平闭源差距，比肩GPT-4o mini

文章预览

   新智元报道   编辑：LRS 【新智元导读】 Allen Institute for AI（AI2）发布了Tülu 3系列模型，一套开源的最先进的语言模型，性能与GPT-4o-mini等闭源模型相媲美。Tülu 3包括数据、代码、训练配方和评估框架，旨在推动开源模型后训练技术的发展。 只进行过「预训练」的模型是没办法直接使用的，存在输出有毒、危险信息的风险，也无法有效遵循人类指令，所以通常还需要进行后训练（post-train），如「指令微调」和「从人类反馈中学习」，以使模型为各种下游用例做好准备。 早期的后训练工作主要遵循InstructGPT等模型的标准方案，如指令调整（instruction tuning）和偏好微调（preference finetuning），不过后训练仍然充满玄学，比如在提升模型编码能力的同时，可能还会削弱模型写诗或遵循指令的能力，如何获得正确的「数据组合」和「超参数」，使模型在 ………………………………