高效且鲁棒！华为诺亚、MILA提出全新框架PoT，全面提升大模型复杂关系推理能力

文章预览

文章背景 大型语言模型（如 GPT-4）在自然语言理解和生成方面表现出色，例如对话问答、代码生成等。这种能力得益于在大量真实世界语言数据上的预训练，这使得 LLMs 可以隐式地学习实体、关系和推理模式 [1] 。 尽管如此，LLMs 在处理 自然语言关系推理 （例如亲属关系推理  [2] 、空间关系推理  [3]  等）任务时表现依然有限。 该任务要求 LLMs 从输入的文本描述中整合实体间的多跳关系，并最终推导出目标实体间的关系，其对于基于 LLMs 的真实场景应用（例如机器人规划、路线导航、智能问答等）至关重要。但在真实场景中存在广泛存在的与目标推导无关的信息会对 LLMs 的理解与推理造成干扰，进而导致错误的推理结果。 另一方面，在 [4] 等中的研究显示，人类能够通过环境中的多种线索构建认知地图（Cognitive Map，一种抽象关系图），来处 ………………………………