别浪费你的显存了！LLM偏好对齐的正确打开方式

文章预览

1. 前言 在大语言模型的训练过程中，偏好对齐是一项至关重要的任务，它能够更好地帮助语言模型的输出与人类的喜好进行对齐。目前，开源界的许多项目已经实现了基于偏好数据的 Reward Model、 DPO（Direct Preference Optimization）及 DPO 的衍生方法的训练，然而，这些方案普遍存在一个显著的问题—— 显存浪费 。 为什么会出现显存浪费的现象呢？这是由于在偏好训练的一次迭代中，需要至少包含 chosen 和 rejected 两个样本对。 这两个样本对的长度往往存在差异 ，因此在组合这两个样本的时候，必须对短的样本进行补零（Padding），而这些补零的 token，都是被浪费的计算量！我们统计了目前使用范围最广的偏好对齐数据集 UltraFeedback，如果按 batch size=1 进行补零，则有 14.61% 的 token 是无意义的 padding token，而如果想把显存拉满而增大 batch size，则 padding 的 ………………………………