ICML 2024 Spotlight | 在解码中重新对齐，让语言模型更少幻觉、更符合人类偏好

文章预览

本文介绍了一篇语言模型对齐研究的论文，由瑞士、英国、和法国的三所大学的博士生和 Google DeepMind 以及 Google Research 的研究人员合作完成。其中， 通讯作者 Tianlin Liu 和 Mathieu Blondel 分别来自瑞士巴塞尔大学和 Google DeepMind Paris 。这篇论文已被 ICML-2024 接收，并且入选为 spotlight presentation (仅占总投稿量的 3.5%)。 论文地址：https://openreview.net/forum?id=n8g6WMxt09 =E3VVDPVOPZ 代码地址：https://github.com/liutianlin0121/decoding-time-realignment 研究动机 现如今，语言模型能够创造丰富多样的内容。但有时，我们不希望这些模型「口无遮拦」。想象一下，当我们问智能助手如何减压时，我们不希望得到「去喝个烂醉」这样的回答。我们希望模型的回答更加得体。 这正是语言模型 「 对齐 」 要解决的问题。通过对齐，我们希望模型理解哪些回答是好的，哪些是不好的，从而 ………………………………