大语言模型统一偏好学习技术综述：定义、数据、反馈、算法、评估、趋势

文章预览

大语言模型（LLMs）展现出了非凡的能力。实现成功的一个关键因素是将LLM的输出与人类偏好对齐。这种对齐过程通常只需要少量数据就能有效地提高LLM的性能。尽管有效，但这一领域的研究跨越了多个领域，涉及的方法相对复杂，难以理解。不同方法之间的关系尚未得到充分探索，限制了偏好对齐的发展。鉴于此，我们将现有的流行的对齐策略分解为不同的组成部分，并提供了一个统一的框架来研究当前的对齐策略，从而建立它们之间的联系。在这项调查中，我们将偏好学习中的所有策略分解为四个组成部分：模型、数据、反馈和算法。这种统一的观点提供了对现有对齐算法的深入理解，并开辟了将不同策略的优势结合起来的可能性。此外，我们提供了流行的现有算法的详细工作示例，以促进读者的全面理解。最后，基于我们的统一视角，我们探 ………………………………