只需几个演示就能对齐大模型，杨笛一团队提出的DITTO竟如此高效

文章预览

机器之心报道 编辑：Panda 人类的教育方式，对大模型而言也很适用。 养育孩子时，古往今来人们都会谈到一种重要方法：以身作则。也就是让自己成为孩子模仿学习的范例，而不是单纯地告诉他们应该怎么做。在训练大语言模型（LLM）时，我们或许也能采用这样的方法 —— 向模型进行演示。 近日，斯坦福大学杨笛一团队提出了一种新框架 DITTO，可通过少量演示（用户提供的期望行为示例）来将 LLM 与特定设置对齐。这些示例可以从用户现有的交互日志获取，也能通过直接编辑 LLM 的输出得到。这样就可以让模型针对不同的用户和任务高效地理解并对齐用户偏好。 论文标题：Show, Don’t Tell: Aligning Language Models with Demonstrated Feedback 论文地址： https://arxiv.org/pdf/2406.00888   DITTO 可基于少量演示（少于 10）自动创建一个包含大量偏好比较数据的数据集（ ………………………………