主要观点总结
文章介绍了李飞飞、谢赛宁团队在多模态大语言模型（MLLM）的研究中发现空间智能界限的突破，MLLM能够记住和回忆空间，甚至内部已经形成了局部世界模型，展现了空间意识。文章还介绍了关于空间思维的研究、视觉空间智能基准测试的开发，以及MLLM在视觉空间智能方面的优势和局限性。同时探讨了语言提示技术在此领域的局限性，以及MLLM如何以语言思考空间的问题。最后，文章提及了通过认知地图改进MLLM的空间推理能力的方法，以及LLM在理解和生成视觉内容方面的最新研究进展。
关键观点总结
关键观点1: 李飞飞、谢赛宁团队在多模态大语言模型（MLLM）的研究中，发现其能够展现空间思维。
多模态大语言模型展现出记住和回忆空间的能力，并且内部已经形成了局部世界模型和空间意识。这为空间智能的研究带来了新的突破。
关键观点2: 关于空间思维的研究和视觉空间智能基准测试的开发。
为了评估MLLM的视觉空间智能，研究者开发了VSI-Bench基准测试。该测试包含超过5000个问答对，涵盖各种视觉空间智能任务。研究结果显示，MLLM虽然具有竞争力，但仍低于人类水平的视觉空间智能。
关键观点3: MLLM在视觉空间智能方面的优势和局限性。
MLLM在处理空间信息时，并非构建一个连贯的全局模型，而是从给定的视频中生成一系列局部化的世界模型。在处理涉及相距较远的对象时，模型的性能会迅速下降。
关键观点4: 语言提示技术在视觉空间推理中的局限性。
研究结果显示，常用的语言提示技术在视觉空间推理任务中并不奏效，甚至可能有害。这为未来的研究提供了新的方向。
关键观点5: 通过认知地图改进MLLM的空间推理能力。
通过提示MLLM基于视频输入预测物体中心位置，研究者评估了其创建认知地图的能力。结果显示，使用认知地图可以增强MLLM的空间推理能力。
关键观点6: LLM在理解和生成视觉内容方面的最新研究进展。
谢赛宁和LeCun的团队提出了一种全新的多模态理解与生成模型MetaMorph，该模型在联合训练的情况下，仅需要少量生成数据即可激发LLM的视觉生成能力。这项研究显示了LLM在理解和生成视觉内容方面的巨大潜力。
文章预览
新智元报道 编辑：Aeneas 好困 【新智元导读】 李飞飞、谢赛宁团队又有重磅发现了：多模态LLM能够记住和回忆空间，甚至内部已经形成了局部世界模型，表现了空间意识！李飞飞兴奋表示，在2025年，空间智能的界限很可能会再次突破。 就在刚刚，李飞飞、谢赛宁等发现：多模态大语言模型居然能记住和回忆空间。 更震撼的是，MLLM的空间推理能力虽然仍是瓶颈，但这些模型中，已经出现了局部世界模型和空间意识的迹象！ 论文地址：https://arxiv.org/abs/2412.14171 共同一作：Jihan Yang，Shusheng Yang，Anjali W. Gupta，Rilyn Han 李飞飞表示，非常喜欢这项「空间思维」（Thinking in Space）的研究。空间推理对于人类智能来说，至关重要。在2025年，空间智能的界限很可能会再被突破。 谢赛宁也表示，大家和李飞飞进行的关于空间智能的有趣头脑风暴，已经发展
………………………………
