图结构赋能语言模型：华为诺亚MILA联合提出基于图的可控数据合成提升大语言模型长逻辑链推理能力

文章预览

https://arxiv.org/abs/2409.12437 大语言模型（LLMs）在理解和生成类人语言方面取得了巨大的进步，展现了其在自然语言处理上的强大潜力。然而，当涉及逻辑推理，尤其是多跳推理和复杂关系时，这些模型的能力仍然有待提高。LLM 的未来不只是通过更大的模型和更多的数据来实现，而在于如何使用更智能的数据和更有效的方法来训练这些系统，从而增强其逐步推理的能力。最近的研究表明，基于图的合成数据可能是提升 LLM 逻辑推理能力的关键突破口。 1. 研究目的 本文探讨了通过基于图的合成推理数据作为训练监督信号，以提升大语言模型（LLM）在逻辑推理任务中的表现，同时揭示了这种方法的潜力和局限性。研究团队提出了一种创新方法，利用图结构化数据进行任务特定的后期训练，以提高模型在逻辑推理任务中的准确性和生成质量。 论文链接: http ………………………………