密集联想记忆的指数容量

文章预览

The Exponential Capacity of Dense Associative Memories 密集联想记忆的指数容量 https://arxiv.org/pdf/2304.14964 最近对Hopfield联想记忆模型的泛化能够 存储数量P随神经元数量N指数增长的随机模式，P = exp(αN)。除了巨大的存储容量外，这些网络的另一个有趣特征是它们与注意力机制的联系， 注意力机制是深度学习中广泛应用的Transformer架构的一部分。在这项工作中，我们使用统计力学分析研究了一类通用的模式集合，给出了典型模式检索的精确渐近阈值α1，以及所有模式都能被检索的最大负载α的下界αc，以及吸引盆的大小。我们详细讨论了高斯模式和球面模式的案例，并展示了它们显示出丰富且定性不同的相图。 I. 引言 大约四十年前，John Hopfield引入了一个基于N个自旋相互作用的简单记忆模型，类似于自旋玻璃中的成对相互作用，但具有特别定制的相互作用，使得 ………………………………