大语言模型潜在地执行了多跳推理吗？

Do Large Language Models Latently Perform Multi-Hop Reasoning?大语言模型潜在地执行了多跳推理吗？‍‍‍‍‍‍‍‍‍‍‍‍‍‍作者研究了LLM是否会在被问到复杂语句时潜在执行多跳推理，比如一个问题“Superstition这首歌的歌手的母亲是谁”。对于这个问题，作者从以下两点来找LLM中的潜在推理路径：1）潜在地识别了bridge entity（下称桥接实体？反正我自己凭感觉翻的），如歌手的名字是Stevie Wonder；2）用这个歌手的母亲的知识完成提问。作者独立分析了这两跳且将这两者的共现作为潜在多跳推理的指标。结论是：作者在某些关系类型的提示上发现了存在潜在的多跳推理的强烈证据，其中超过80%的提示使用了这种推理路径。然而，这种使用是高度情境化contextual的，在不同类型的提示之间存在差异。此外，就平均而言，对于第二跳和完整的多跳遍历的证据并不 ………………………………