大语言模型也有自己对现实世界的理解 | 高瓴 Curiosity

文章预览

导读： 欢迎来到 「 高瓴 Curiosity 」 ，在这里，我们聚焦科学知识和科技动态，也分享科学、科技领域最前沿的观点与资讯。 当语言模型面对雨中露营地的气味描述时，虽无实际体验却能给出诗意回应，这引发了关于其能否真正 “理解” 语言的争论。麻省理工学院的科学家们对此展开深入研究，发现语言模型可能会为提高生成能力而发展出对现实的理解，就像孩子分阶段学习语言一般逐步 “理解” 指令。他们通过实验构建 “奇异世界” 以区分模型的角色，证实语言模型能真正独立 “理解” 指令。尽管研究存在局限性，但为未来探索语言含义和语义提供了起点 。 如果你让GPT这样的大语言模型（LLM）闻一闻雨中露营地的气味，它会婉言谢绝。但如果让它向你描述一下这种气味，它则会毫无障碍地给出一些诗意的描述，比如“空气中弥漫着期待 ………………………………