信息论揭示“涌现”能力是一种突现的相变！大模型的性能定律研究，可直接预测LLMs的MMLU得分！

文章预览

前言： 论文可以让你更快地了解最新研究进展，掌握最新的技术和理论。这对于自身的科研能力和竞争力非常重要，尤其是在快速发展的学科领域，下面小编带你来看大模型最近的研究成果。 1. 信息论进展度量揭示“Grokking”是一种突现的相变   标题： Information-Theoretic Progress Measures reveal Grokking is an Emergent Phase Transition   关键词： grokking、神经网络、高阶互信息、模型评估   作者： Kenzo Clauw,  Sebastiano Stramaglia,  Daniele Marinazzo   分析： 这篇论文通过研究神经网络中的突现现象，重点关注了“grokking”这一概念，即模型在延迟记忆后突然泛化。文章使用高阶互信息来分析训练过程中神经元之间的集体行为和共享属性，识别出“grokking”发生前的不同阶段，并将其归因于神经元整体的协同互动引起的突现相变。此外，还发现权重衰减和权重初始化可 ………………………………