专栏名称: CreateAMind
ALLinCreateAMind.AGI.top , 前沿AGI技术探索,论文跟进,复现验证,落地实验。 鼓励新思想的探讨及验证等。 探索比大模型更优的智能模型。
今天看啥  ›  专栏  ›  CreateAMind

关系瓶颈作为有效抽象的归纳偏差

CreateAMind  · 公众号  ·  · 2024-08-04 23:24

文章预览

The Relational Bottleneck as an Inductive Biasfor Efficient Abstraction https://arxiv.org/abs/2309.06629v5 摘要: 认知科学的一个核心挑战是解释抽象概念是如何从有限的经验中获得的。这通常是根据联结主义认知模型和符号认知模型之间的二分法来构建的。 在这里,我们重点介绍了最近出现的一项工作,该工作通过利用我们称之为关系瓶颈的归纳偏差,提出了这些方法的新颖协调。 在这种方法中,神经网络通过其架构被限制为关注感知输入之间的关系,而不是单个输入的属性。 我们回顾了一系列采用这种方法以数据有效的方式诱导抽象的模型,强调它们作为获取人类思想和大脑中抽象概念的候选模型的潜力。 节选: 紧急符号绑定网络(ESBN)(图 2a)[52],这是一种深层神经网络架构,其灵感来自关系推理认知模型中角色填充变量绑定的概念[34,33,55]。 这种编码方案使 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览