Max Tegmark组新工作：利用调和损失训练可解释的AI模型

文章预览

摘要 在本文中，我们提出了一种新的损失函数调和损失（Harmonic Loss），作为标准交叉熵损失（cross-entropy loss）的替代方案，用于训练神经网络和大规模语言模型（LLMs）。调和损失由于其尺度不变性和有限收敛点的设计，使得模型具有更强的可解释性并实现更快的收敛，其中有限收敛点可以被解释为类别中心。我们首先在算法任务、计算机视觉任务和自然语言处理任务上验证了 Harmonic Loss 的性能。通过一系列实验，我们证明了采用调和损失训练的模型在以下几个方面优于标准模型： (a) 提高可解释性， (b) 降低对大量训练数据的依赖， (c) 减少 grokking 现象（延迟泛化）。 此外，我们对比了采用 Harmonic Loss 训练的 GPT-2 与标准 GPT-2，结果表明 Harmonic Loss 使模型能够学习到更具可解释性的表示。展望未来，Harmonic Loss 有望成为数据受限领域或高风险应用 ………………………………