ICLR 2022 || Transformer 与 海马体神经表征

文章预览

大家好，今天给大家介绍一篇ICLR 2022的研究论文，这篇论文探讨了Transformer模型与海马体神经表征之间的关系，特别是如何通过递归位置编码使Transformer再现海马体的空间表征。本文通过数学关系揭示了Transformer与当前海马体模型之间的联系，为理解海马体的计算角色及Transformer位置编码的功能提供了新视角。 1. 基本信息 论文题目 : Relating Transformers to Models and Neural Representations of the Hippocampal Formation 作者 : James C.R. Whittington, Joseph Warren, Timothy E.J. Behrens 作者研究单位 : University of Oxford, DeepMind, University College London 会议 : ICLR 2022 2. 研究背景 这篇论文的研究背景涉及Transformer模型和神经科学中的海马体空间表征。海马体是大脑中负责空间导航和记忆的区域，其包含的地点细胞（place cells）和网格细胞（grid cells）能够在环境中创建空间地图。Transformer，特别是 ………………………………