Hopfield Networks is All You Need

文章预览

Hopfield Networks is All You Need https://github.com/ml-jku/hopfield-layers 存储指数级数量的模式，并具有指数级小的检索误差 摘要 我们介绍了一种具有连续状态的现代霍普菲尔德网络及其相应的更新规则。这种新的霍普菲尔德网络可以存储 指数级数量的模式（与联想空间的维度成指数关系） ，通过一次更新检索模式，并具有 指数级小的检索误差 。它具有 三种类型的能级最小值（更新的固定点）：(1) 全局固定点，对所有模式进行平均；(2) 亚稳态，对模式的一个子集进行平均；(3) 存储单个模式的固定点 。新的 更新规则等同于变换器中使用的注意力机制 。这种等价性允许对 变换器模型的头部进行表征 。这些头部在 第一层优先进行全局平均，在更高层通过亚稳态进行部分平均 。新的现代霍普菲尔德网络可以作为层集成到深度学习架构中， 允许存储和访问原始 ………………………………