【NeurIPS2024】在复杂视觉推理场景中学习迭代和并行推理

文章预览

复杂视觉推理与问题回答（VQA）是一个具有挑战性的任务，要求具备超越简单物体和事件识别与定位的组成性多步处理能力和更高层次的推理能力。 在本文中，我们提出了一种完全神经化的迭代与并行推理机制（IPRM），该机制结合了两种不同形式的计算——迭代计算和并行计算——以更好地解决复杂的VQA场景。具体来说，IPRM的“迭代”计算有助于在需要动态计算、存储和回忆个别操作的场景中进行逐步的组成性推理（例如，计算查询：“确定坐在白色桌子旁边穿红色T恤的孩子左侧的笔的颜色”）。与此同时，其“并行”计算允许同时探索不同的推理路径，并有利于独立操作的更强鲁棒性和高效执行（例如，在查询“确定所有T恤中出现频率最高的颜色”时计算每种颜色的数量）。 我们将IPRM设计为一个轻量级、完全可微的神经模块，可以方便地应 ………………………………