开源：现代Hopfield模型的大容量一致记忆

文章预览

Uniform Memory Retrieval with Larger Capacity for Modern Hopfield Models 现代Hopfield模型的大容量一致记忆检索 https://arxiv.org/abs/2404.03827 https://github.com/MAGICS-LAB/UHop 摘要 我们提出了一种两阶段的记忆检索动力学，用于现代Hopfield模型，称为U-Hop，具有增强的记忆容量。我们的主要 贡献是一个可学习的特征映射Φ，它将Hopfield能量函数转换到核空间。这种转换确保了能量局部最小值与核空间中检索动力学的固定点之间的收敛。因此，由Φ诱导的核范数作为一种新颖的相似性度量。它利用存储的记忆模式作为学习数据，以增强所有现代Hopfield模型的记忆容量。具体来说，我们通过构建一个分离损失LΦ来实现这一点，该损失在核空间中通过分离存储的记忆模式来分离核化能量的局部最小值。 方法上，U-Hop记忆检索过程包括： （阶段I）最小化分离损失，以获得更均匀的记忆（ ………………………………