开源：长序列Hopfield记忆

文章预览

Long sequence Hopfield memory 长序列Hopfield存储器 https://arxiv.org/pdf/2306.04532 https://github.com/Pehlevan-Group/LongSequenceHopfieldMemory 摘要 序列记忆是自然智能和人工智能的重要属性，使智能体能够编码、存储和检索复杂的刺激和动作序列。已经提出了计算序列记忆模型，其中循环Hopfield型神经网络通过时间不对称的Hebbian规则进行训练。然而，这些网络由于记忆之间的干扰，其序列容量（存储序列的最大长度）有限。受最近关于密集联想记忆的研究启发，我们通过 引入非线性交互项来扩展这些模型的序列容量，增强了模式之间的分离。我们推导了关于网络规模的序列容量的新缩放定律，显著优于基于传统Hopfield网络的现有缩放定律，并通过数值模拟验证了这些理论结果。此外，我们引入了一种广义伪逆规则来回忆高度相关的模式序列。最后，我们将该模型扩展到存 ………………………………