对齐器: 通过学习校正实现高效对齐

文章预览

摘要 随着大型语言模型 (LLM) 的快速发展和不断变化的实际需求，找到一种高效且有效的对齐方法变得越来越重要。  然而，当前对齐方法的复杂性和部署场景中快速迭代需求之间的矛盾，需要开发一种模型无关的对齐方法，这种方法能够在这些约束条件下运行。  在本文中，我们介绍了  对齐器 ，这是一种新颖且简单的对齐范式，它使用小型模型学习首选答案和非首选答案之间的校正残差。  对齐器  被设计为一个模型无关的即插即用模块，可以仅通过一次性训练直接应用于各种开源和基于 API 的模型，使其适合快速迭代。  值得注意的是， 对齐器  可以应用于任何强大的、大规模的 upstream 模型。  此外，它甚至可以迭代地利用修正后的响应作为合成的人类偏好数据来 bootstrap upstream 模型，突破模型的性能上限。  我们的实验表明，在 3H 维度（ ………………………………