生成式模型不只会「模仿」！哈佛、UCSB等最新成果：性能可超越训练集专家水平

文章预览

   新智元报道   编辑：LRS 【新智元导读】 生成式模型原本被设计来模仿人类的各种复杂行为，但人们普遍认为它们最多只能达到与其训练数据中的专家相当的水平。不过，最新的研究突破了这一限制，表明在特定领域，如国际象棋，通过采用低温采样技术，这些模型能够超越它们所学习的那些专家，展现出更高的能力。 生成式模型（GMs）的设计宗旨是模仿人类的各种行为，例如回答问题、创作艺术、唱歌等，人类在这些领域都展现出高超的技能。 然而，模型在训练过程中实际上只专注于一个核心目标，即最小化模型输出的交叉熵损失，确保模型的输出分布尽可能地接近人类标注的分布。 换句话说，模型的能力上限可能已经被定死了，最多只能达到人类专家在 其专业领域的表现水平。 但最近来自哈佛大学、加州大学圣巴巴拉分校（UCSB）、普 ………………………………