【NeurIPS2024】作为零样本无损梯度压缩器的语言模型：走向通用神经参数先验模型

文章预览

来源：专知 本文 约1000字 ，建议阅读 5 分钟 我们引入了一种新的方法 LM-GC，它将 LLMs 与算术编码结合 。 尽管统计先验模型在各个领域得到了广泛应用，但对于神经网络梯度的此类模型长期以来却被忽视。其固有的挑战在于高维结构和复杂的相互依赖性，使得有效建模变得复杂。在本研究中，我们展示了大型语言模型（LLMs）在零样本设置中作为梯度先验的潜力。我们通过考虑无损梯度压缩这一分布式学习中的关键应用来检验这一特性，该应用高度依赖于精确的概率建模。 为此，我们引入了一种新的方法 LM-GC，它将 LLMs 与算术编码结合 。我们的方法将普通梯度转换为类似文本的格式，相比原始表示，令符效率提高了多达 38 倍。我们确保这种数据转换与普通梯度的结构以及 LLMs 通常识别的符号保持紧密一致。实验表明，LM-GC 超越了现有的最先进的 ………………………………