抽象和关系交叉注意:Transformer中显性关系推理的归纳偏差

文章预览

ABSTRACTORS AND RELATIONAL CROSS-ATTENTION:AN INDUCTIVE BIAS FOR EXPLICIT RELATIONALREASONING IN TRANSFORMERS 抽象和关系交叉注意: Transformer 中显性关系推理的归纳偏差 https://github.com/Awni00/Abstractor 摘要 本文提出了一种Transformer的扩展，通过一个名为Abstractor的新型模块，使其能够进行显式关系推理。Abstractor的核心是一种称为关系交叉注意力的注意力变体。该方法的动机是一种关系学习的结构归纳偏差，称为“关系瓶颈”，它将 关系信息与对象级特征分离，从而支持基于有限数据的抽象和泛化。 Abstractor首先在简单的区分性关系任务上进行评估，并与现有的关系架构进行比较。接下来，Abstractor在纯关系序列到序列的任务上进行评估，与标准Transformer相比，在样本效率上取得了显著改进。最后，在基于数学问题解决的一系列任务上评估Abstractor，观察到性能和样本效率的一致改 ………………………………